Zašto LLM griješi u slovkanju i računanju: zamke tokenizacije
Do modela stižu brojevi tokena, a ne slova. Pogledaj kako se riječi dijele, predvidi koja će pitanja model pogriješiti i usporedi s njegovim pravim odgovorima.
- POINT 1Do modela stižu samo brojevi: ID-ovi tokena. Slova unutar tokena su mu skrivena.
- POINT 2Zato su mu teška pitanja o broju slova, položaju slova i čitanju unatrag. Pomaže ako slova ispiše jedno po jedno (ne uvijek).
- POINT 3Teški su i računi s mnogo znamenki: odgovor piše token po token od najviše znamenke, pa prijenose mora predvidjeti. Kad napiše postupak, može biti točno.
TRY 1
Hoće li model pogoditi?
Ovo su pitanja koja smo stvarno postavili modelu Gemma 3. Pogledaj kako je riječ podijeljena, predvidi hoće li model točno odgovoriti, pa otvori odgovor.
1 / 8 · Koliko slova?
Koliko slova ima riječ „jagoda”?
Podjela (brojevi su ID-ovi)
- jag1280253
- oda96813
Svaki odgovor nastao je tako da je model uvijek birao najvjerojatniji token, a svako pitanje postavili smo dvaput, s istim odgovorom oba puta. Točan odgovor prebrojan je iz same riječi.
TRY 2
Slova unutar tokena su skrivena
Izaberi riječ i usporedi slova koja vidiš s brojevima koji stižu do modela.
- jag1280253
- oda96813
6 slova u 2 tokena
A ako ispiše slova?
Pravi odgovori na „napiši slovo po slovo, s brojevima, pa prebroji”. Svako napisano slovo postaje zaseban token.
Što smo tražili
Napiši riječ „jagoda” slovo po slovo, svako slovo u novom retku s brojem, pa prebroji slova.
TRY 3
Dugo množenje, znamenku po znamenku
Kako se brojevi dijele ovisi o tokenizatoru. Gemma 3 stavlja jednu znamenku u token. Zatim znamenku po znamenku otvori njezin pravi odgovor na množenje, uz traženje samo broja.
Kako se dijele brojevi
48214821396739671912490719124907123456789123456789202620262984229842Traženo samo brojem
Koliko je 4821 × 3967? Odgovori samo brojem.
Model — Pritisni znamenku da vidiš kandidate za nju.
Točno
4. znamenka: napisao je „3” s 79%
- 379%
- 114%
- 73.5%
- 21.2%
- 60.8%
S napisanim postupkom
Pogledaj postupak koji je model napisao
Naravno, evo kako izračunati 347 × 86:
**Postupak:**
Možemo koristiti standardni postupak množenja:
1. **Pomnožimo 347 sa 6:**
* 6 × 7 = 42
* 6 × 4 = 24
* Zapišimo 24, 42
* Dakle, 347 × 6 = 2082
2. **Pomnožimo 347 sa 80 (desetke):**
* Možemo to učiniti tako što ćemo dodati nulu na kraju broja 347.
* 80 × 7 = 560
* 80 × 4 = 320
* Zapišimo 320, 560
* Dakle, 347 × 80 = 27760
3. **Saberi dva rezultata:**
* 2082 + 27760 = 29842
**Dakle, 347 × 86 = 29842**
Možeš provjeriti svoj odgovor koristeći kalkulator.4821 × 3967, s postupkom
Naravno, izračunajmo 4821 × 3967 korak po korak:
**1. Razbijanje 3967 na manje dijelove:**
Možemo razbiti 3967 na 3000 + 900 + 60 + 7. Ovo će nam olakšati izračun.
**2. Izračun 4821 × 3000:**
4821 × 3000 = 4821 × 3 × 1000
= 14463 × 1000
= 14463000
**3. Izračun 4821 × 900:**
4821 × 900 = 4821 × 9 × 100
= 43389 × 100
= 4338900
**4. Izračun 4821 × 60:**
4821 × 60 = 4821 × 6 × 10
= 28926 × 10
= 289260
**5. Izračun 4821 × 7:**
4821 × 7 = (4000 + 800 + 20 + 1) × 7
= 28000 + 5600 + 140 + 7
= 33747
**6. Sabiranje svih rezultata:**
14463000 + 4338900 + 289260 + 33747 = 19084907
**Dakle, 4821 × 3967 = 19084907**Pravi odgovori modela Gemma 3 4B (Q4_K_M, llama.cpp), s vjerojatnostima dok ih je pisao. Točni rezultati su obično računanje.
CHECK
Kratka provjera
Provjeri što si naučio uz tri pitanja.
Q1Što stiže do modela za riječ „jagoda”?
Q2Što mu olakšava pitanja o broju slova?
Q3Jedan razlog zašto dugo množenje „samo brojem” ispada krivo?
NEXT #17
Što je vektor? Kako LLM prikazuje riječi brojevima
Sljedeće počinje 3. dio. ID tokena samo je broj. Sljedeće: značenje riječi zapisat ćemo kao niz brojeva, vektor.
Odgovori, tokeni i vjerojatnosti na ovoj stranici jednom su uzeti iz modela Gemma 3 4B (Q4_K_M, llama.cpp) (uvijek najvjerojatniji token; svako pitanje dvaput, s istim odgovorom). Ostali tokenizatori su tiktokenovi cl100k_base (GPT-4) i gpt2. Ništa se ne šalje poslužitelju.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…