Javite se

Razumjeti LLM od nule#1

Što je LLM? Veliki jezični model predviđa sljedeću riječ

LLM radi samo jedno: pogađa riječ koja slijedi. Ovdje vlastitim rukama možete isprobati mehanizam koji ste vidjeli u videu.

  • POINT 1LLM je stroj koji pogađa sljedeću riječ.
  • POINT 2Ne izlazi jedan odgovor, nego vjerojatnost za svakog kandidata.
  • POINT 3Pogodi jednu riječ, dodaj je, pogodi opet. Ponavljanjem nastaje tekst.

TRY 1

Vi ste jezični model. Pogodite nastavak

Smislite riječ kojom se rečenica nastavlja i upišite je. Zatim je usporedite s vjerojatnostima koje je dao pravi AI. Na kojem je mjestu vaš odgovor?

Bio jednom jedan?

Ne pada vam ništa na pamet? Odaberite jednu od ovih

Pokušaja0Isto kao AI-jev br. 10Među prvih 50

Visina stupca je vjerojatnost koju je AI dao toj riječi. Interpunkcijski znakovi izostavljeni su iz kandidata.

TRY 2

Produljujte tekst riječ po riječ

LLM pogodi jednu riječ, doda je na kraj rečenice i iz nove rečenice pogađa opet. Pritisnite gumb i prođite korak po korak. Odaberete li riječ koja nije prvi izbor, tekst kreće drugim putem.

Bio jednom jedan?

Najprije neka predvidi sljedeću riječ.

TRY 3

Druga rečenica, drugi poredak

Čak i ista riječ, „hladnjak“, dobiva sasvim drugu vjerojatnost ovisno o rečenici ispred nje. Mijenjajte dvije rečenice i gledajte kako stupci mijenjaju mjesta.

Promijeni rečenicu

Vjerojatnost riječi „hladnjak“: <0,1% nakon prve rečenice, 89% nakon druge. LLM gleda sve prethodne riječi i tek onda predviđa sljedeću.

  • mladić13%
  • od6.4%
  • čuveni6.1%
  • čovjek5.3%
  • moj2.5%
  • hladnjak<0,1%

CHECK

Kratka provjera

Tri pitanja o onome što ste danas naučili.

Q1Što LLM radi iznutra dok piše tekst?

Q2Što LLM daje u jednom predviđanju?

Q3Kako LLM stvara dug tekst?

Sve vjerojatnosti na ovoj stranici izračunao je pravi jezični model (Gemma 3 4B). Rezultati su izračunani unaprijed, pa se riječi koje upišete nikada ne šalju na poslužitelj.