Što je LLM? Veliki jezični model predviđa sljedeću riječ
LLM radi samo jedno: pogađa riječ koja slijedi. Ovdje vlastitim rukama možete isprobati mehanizam koji ste vidjeli u videu.
- POINT 1LLM je stroj koji pogađa sljedeću riječ.
- POINT 2Ne izlazi jedan odgovor, nego vjerojatnost za svakog kandidata.
- POINT 3Pogodi jednu riječ, dodaj je, pogodi opet. Ponavljanjem nastaje tekst.
TRY 1
Vi ste jezični model. Pogodite nastavak
Smislite riječ kojom se rečenica nastavlja i upišite je. Zatim je usporedite s vjerojatnostima koje je dao pravi AI. Na kojem je mjestu vaš odgovor?
Bio jednom jedan?
Pokušaja0Isto kao AI-jev br. 10Među prvih 50
Visina stupca je vjerojatnost koju je AI dao toj riječi. Interpunkcijski znakovi izostavljeni su iz kandidata.
TRY 2
Produljujte tekst riječ po riječ
LLM pogodi jednu riječ, doda je na kraj rečenice i iz nove rečenice pogađa opet. Pritisnite gumb i prođite korak po korak. Odaberete li riječ koja nije prvi izbor, tekst kreće drugim putem.
Bio jednom jedan?
Najprije neka predvidi sljedeću riječ.
TRY 3
Druga rečenica, drugi poredak
Čak i ista riječ, „hladnjak“, dobiva sasvim drugu vjerojatnost ovisno o rečenici ispred nje. Mijenjajte dvije rečenice i gledajte kako stupci mijenjaju mjesta.
Vjerojatnost riječi „hladnjak“: <0,1% nakon prve rečenice, 89% nakon druge. LLM gleda sve prethodne riječi i tek onda predviđa sljedeću.
- mladić13%
- od6.4%
- čuveni6.1%
- čovjek5.3%
- moj2.5%
- hladnjak<0,1%
CHECK
Kratka provjera
Tri pitanja o onome što ste danas naučili.
Q1Što LLM radi iznutra dok piše tekst?
Q2Što LLM daje u jednom predviđanju?
Q3Kako LLM stvara dug tekst?
NEXT #2
Kako LLM generira tekst: autoregresivno, token po token
Sljedeći put pobliže gledamo „dodavanje riječ po riječ“. Zapravo jedinica nije riječ, nego „token“.
Sve vjerojatnosti na ovoj stranici izračunao je pravi jezični model (Gemma 3 4B). Rezultati su izračunani unaprijed, pa se riječi koje upišete nikada ne šalju na poslužitelj.