Javite se

Razumjeti LLM od nule#6

Kako LLM pretvara tekst u brojeve: ID-ovi tokena

Neuronska mreža je mehanizam koji računa, pa može raditi samo s brojevima. Zato LLM, čim primi tekst, najprije sve pretvori u brojeve. Na ovoj stranici vlastitim rukama pretvaraš tekst u brojeve, mijenjaš brojeve i vraćaš ih u tekst.

  • POINT 1LLM ne čita tekst, nego niz brojeva koji se zovu ID-ovi tokena.
  • POINT 2Traženjem u tablici vokabulara tekst postaje brojevi (kodiranje), a brojevi tekst (dekodiranje).
  • POINT 3ID tokena samo je oznaka. Njegova veličina i blizina drugom ID-u nemaju veze sa značenjem.

TRY 1

Znakovi već imaju brojeve

Računala su tekst obrađivala kao brojeve davno prije LLM-ova, jer svaki znak ima broj dogovoren za cijeli svijet: svoj kod znaka. Upiši bilo koje znakove i pogledaj njihove brojeve. Pomakneš li broj za jedan, promijeni se i znak.

Broj znaka „p“ je 112. Ukupno je 5 znakova, dakle 5 brojeva. Odaberi znak i pomakni mu broj.

Te brojeve određuje svjetski standard Unicode. Tvoj ih preglednik pronalazi na licu mjesta, a slova abecede numerirana su redom. LLM, međutim, ne koristi izravno te brojeve. Prijeđi na sljedeći blok.

TRY 2

Kodiranje: rečenica postaje niz ID-ova tokena

Jedinica koju LLM čita nije znak, nego token (2. epizoda). Model ima tablicu koja se zove vokabular i u kojoj su popisani svi tokeni koje poznaje, a mjesto tokena u toj tablici njegov je ID. Izreži rečenicu pa potraži tokene jedan po jedan.

Moj pas voli ribu.

Najprije izreži rečenicu na tokene.

Tablica vokabulara ovog modela ima 262.144 redaka, brojeći od 0. Pravila rezanja detaljno učimo od 9. epizode.

TRY 3

Promijeni brojeve i vrati ih u tekst

Sada mijenjamo same brojeve. Odaberi token i pomakni mu ID za jedan. Ispod se pojavljuje dekodirani rezultat. Je li token sa susjednim brojem susjed i po značenju?

Odaberi token koji želiš promijeniti

Trenutačni niz brojeva[198669, 2982, 236339, 134573, 236761]

DekodiranoMoj pas voli ribu.

Odaberi token i pomakni mu ID za + 1 ili − 1.

Pritisni token ispod da ga dodaš na kraj niza (mali broj je njegov ID)

ID se može pomaknuti do 6 koraka u oba smjera (stranica sadrži samo taj dio tablice). Svaki token koji vidiš dolazi iz stvarne tablice vokabulara. Djelići svjetskih jezika i simboli stoje jedan do drugoga, bez ikakvog reda po značenju.

TRY 4

Izgleda isto, a broj je drukčiji

Isti token uvijek ima isti ID. Ali ono što je nama ista riječ postaje drugi token čim se drukčije napiše. Pritisni kartice i provjeri brojeve. I znamenke su samo tokeni.

Sve izgleda kao ista riječ. Jesu li i brojevi isti? Pritisni i provjeri.

Znamenke 0–9 svaka su po jedan token. Mali broj ispod je ID tokena.

  1. 0236771
  2. 1236770
  3. 2236778
  4. 3236800
  5. 4236812
  6. 5236810
  7. 6236825
  8. 7236832
  9. 8236828
  10. 9236819

ID znaka „7“ nije 7. ID-ovi nisu ni poredani redom 0–9 (ružičasti okvir označava znamenku čiji je ID manji od prethodnog).

To je jedan od razloga zašto LLM ponekad pogriješi u dugim računima ili brojenju slova. Više u 16. epizodi.

CHECK

Brza provjera

Tri pitanja o onome što smo danas otkrili.

Q1Što LLM zapravo prima?

Q2Što se dogodi kad ID tokena povećamo za jedan?

Q3Kako izlaz modela postaje tekst?

Svi tokeni, ID-ovi tokena i retci tablice na ovoj stranici dolaze iz stvarnog jezičnog modela (Gemma 3 4B, vokabular od 262.144 redaka). Rezultati su unaprijed izdvojeni, pa se ništa ne šalje na poslužitelj. Kodove znakova tvoj preglednik računa na licu mjesta.