Izlaz LLM-a je raspodjela vjerojatnosti: predviđanje sljedećeg tokena
LLM ne bira riječ. Ono što daje jest vjerojatnost za svaki token u svom rječniku: raspodjela vjerojatnosti. Odabir jednoga od njih posao je kocke. Ovdje raspodjelu i kocku iz videa možete pokrenuti vlastitim rukama.
- POINT 1Izlaz LLM-a je vjerojatnost za svaki token. Zajedno daju 100 %.
- POINT 2Oblik raspodjele mijenja se s rečenicom: nekad je šiljast, a nekad široko razvučen.
- POINT 3Jedan se token bira kockom otežanom prema vjerojatnostima. To je uzorkovanje.
TRY 1
Svaki token ima svoju vjerojatnost
Stupčasti graf prikazuje samo nekoliko najviših. Pomičite klizač i pogledajte koliki dio ukupnog dobijete kad zbrajate sve više tokena s vrha. Prebacite s jedne rečenice na drugu i vidjet ćete koliko se oblik raspodjele može razlikovati.
Moje omiljeno jelo je?
- ·pizza48%
- ·p12%
- ·pizz2.8%
- ·pala2.5%
- ...2.1%
- Rječnik ovog modela ima 262.144 tokena. Baš svaki dobiva vjerojatnost, a zajedno daju 100 %.
- Za ovu rečenicu prvih 2 doseže 50 %, 78 doseže 90 %, a 1.039 doseže 99 %.
- Najmanje vjerojatan token ima vjerojatnost s 16 nula iza decimalnog zareza. Pa ipak, nije nula.
TRY 2
Bacite kocku i izvucite riječ
Jedan se token s popisa bira kockom čije strane nisu jednako vjerojatne: što je vjerojatnost tokena veća, lakše ga je pogoditi. Najprije bacajte jedan po jedan put, a zatim odjednom 100 ili 1000 puta.
Moje omiljeno jelo je?
Pritisnite gumb i bacite kocku. Dok je ne bacite, nitko ne zna koji će token izaći.
- Tokenvjerojatnostizvučeni udio (broj)
- ·pizza48%— (0)
- ·p12%— (0)
- ·pizz2.8%— (0)
- ·pala2.5%— (0)
- ...2.1%— (0)
- ·gula1.7%— (0)
- ·ri1.6%— (0)
- ·doma1.0%— (0)
- ostali28%— (0)
„Ostali” su svih 262.114 tokena ispod 30. mjesta zajedno. Svaki je sićušan, ali zajedno čine nešto što se ne može zanemariti. Ovu kocku baca generator slučajnih brojeva u vašem pregledniku.
TRY 3
Uvijek prvo mjesto ili kocka?
Ako se uvijek bira token s prvog mjesta, tekst je svaki put isti. S kockom jedan drukčiji token na početku mijenja sve što slijedi. Pritisnite oba gumba nekoliko puta i usporedite.
Moje omiljeno jelo je?
Pritisnite gumb i pogledajte nastavak koji je model stvarno napisao.
Rezultati kocke su 100 stvarnih uzoraka iz modela, prikazanih redom (sjemena slučajnih brojeva od 1 do 100). Obratite pozornost na tekstove koji počinju tokenom male vjerojatnosti. Model je malen, pa njegov hrvatski nije uvijek ispravan.
CHECK
Kratka provjera
Tri pitanja o onome što je ova epizoda pokazala.
Q1Što LLM daje na izlazu?
Q2Jedan token ima vjerojatnost 33 %, a drugi 1 %. Što se događa kad bira kocka?
Q3Je li najvjerojatniji token „točan odgovor”?
NEXT #4
Bigramski jezični model: najjednostavniji jezični model nastaje brojanjem
Sljedeći put: odakle uopće dolaze te vjerojatnosti? Krećemo od najjednostavnijeg načina, bigramskog jezičnog modela koji nastaje samim brojanjem.
Sve vjerojatnosti i tekstovi na ovoj stranici izlaz su stvarnog jezičnog modela (Gemma 3 4B). Rezultati su izračunani unaprijed, pa se ništa ne šalje na poslužitelj. Samo se kocka baca, i to u vašem pregledniku.