Kako LLM pretvara tekst u brojeve: ID-ovi tokena
Neuronska mreža je mehanizam koji računa, pa može raditi samo s brojevima. Zato LLM, čim primi tekst, najprije sve pretvori u brojeve. Na ovoj stranici vlastitim rukama pretvaraš tekst u brojeve, mijenjaš brojeve i vraćaš ih u tekst.
- POINT 1LLM ne čita tekst, nego niz brojeva koji se zovu ID-ovi tokena.
- POINT 2Traženjem u tablici vokabulara tekst postaje brojevi (kodiranje), a brojevi tekst (dekodiranje).
- POINT 3ID tokena samo je oznaka. Njegova veličina i blizina drugom ID-u nemaju veze sa značenjem.
TRY 1
Znakovi već imaju brojeve
Računala su tekst obrađivala kao brojeve davno prije LLM-ova, jer svaki znak ima broj dogovoren za cijeli svijet: svoj kod znaka. Upiši bilo koje znakove i pogledaj njihove brojeve. Pomakneš li broj za jedan, promijeni se i znak.
Broj znaka „p“ je 112. Ukupno je 5 znakova, dakle 5 brojeva. Odaberi znak i pomakni mu broj.
Te brojeve određuje svjetski standard Unicode. Tvoj ih preglednik pronalazi na licu mjesta, a slova abecede numerirana su redom. LLM, međutim, ne koristi izravno te brojeve. Prijeđi na sljedeći blok.
TRY 2
Kodiranje: rečenica postaje niz ID-ova tokena
Jedinica koju LLM čita nije znak, nego token (2. epizoda). Model ima tablicu koja se zove vokabular i u kojoj su popisani svi tokeni koje poznaje, a mjesto tokena u toj tablici njegov je ID. Izreži rečenicu pa potraži tokene jedan po jedan.
Moj pas voli ribu.
Najprije izreži rečenicu na tokene.
Tablica vokabulara ovog modela ima 262.144 redaka, brojeći od 0. Pravila rezanja detaljno učimo od 9. epizode.
TRY 3
Promijeni brojeve i vrati ih u tekst
Sada mijenjamo same brojeve. Odaberi token i pomakni mu ID za jedan. Ispod se pojavljuje dekodirani rezultat. Je li token sa susjednim brojem susjed i po značenju?
Odaberi token koji želiš promijeniti
Trenutačni niz brojeva[198669, 2982, 236339, 134573, 236761]
DekodiranoMoj pas voli ribu.
Odaberi token i pomakni mu ID za + 1 ili − 1.
ID se može pomaknuti do 6 koraka u oba smjera (stranica sadrži samo taj dio tablice). Svaki token koji vidiš dolazi iz stvarne tablice vokabulara. Djelići svjetskih jezika i simboli stoje jedan do drugoga, bez ikakvog reda po značenju.
TRY 4
Izgleda isto, a broj je drukčiji
Isti token uvijek ima isti ID. Ali ono što je nama ista riječ postaje drugi token čim se drukčije napiše. Pritisni kartice i provjeri brojeve. I znamenke su samo tokeni.
Sve izgleda kao ista riječ. Jesu li i brojevi isti? Pritisni i provjeri.
Znamenke 0–9 svaka su po jedan token. Mali broj ispod je ID tokena.
- 0236771
- 1236770
- 2236778
- 3236800
- 4236812
- 5236810
- 6236825
- 7236832
- 8236828
- 9236819
ID znaka „7“ nije 7. ID-ovi nisu ni poredani redom 0–9 (ružičasti okvir označava znamenku čiji je ID manji od prethodnog).
To je jedan od razloga zašto LLM ponekad pogriješi u dugim računima ili brojenju slova. Više u 16. epizodi.
CHECK
Brza provjera
Tri pitanja o onome što smo danas otkrili.
Q1Što LLM zapravo prima?
Q2Što se dogodi kad ID tokena povećamo za jedan?
Q3Kako izlaz modela postaje tekst?
NEXT #7
Što su parametri LLM-a? Model je jedna golema funkcija
Sljedeći put: što model radi iznutra kad primi niz brojeva? Promatramo model kao jednu golemu funkciju i učimo što su parametri.
Svi tokeni, ID-ovi tokena i retci tablice na ovoj stranici dolaze iz stvarnog jezičnog modela (Gemma 3 4B, vokabular od 262.144 redaka). Rezultati su unaprijed izdvojeni, pa se ništa ne šalje na poslužitelj. Kodove znakova tvoj preglednik računa na licu mjesta.