Javite se

Razumjeti LLM od nule#3

Izlaz LLM-a je raspodjela vjerojatnosti: predviđanje sljedećeg tokena

LLM ne bira riječ. Ono što daje jest vjerojatnost za svaki token u svom rječniku: raspodjela vjerojatnosti. Odabir jednoga od njih posao je kocke. Ovdje raspodjelu i kocku iz videa možete pokrenuti vlastitim rukama.

  • POINT 1Izlaz LLM-a je vjerojatnost za svaki token. Zajedno daju 100 %.
  • POINT 2Oblik raspodjele mijenja se s rečenicom: nekad je šiljast, a nekad široko razvučen.
  • POINT 3Jedan se token bira kockom otežanom prema vjerojatnostima. To je uzorkovanje.

TRY 1

Svaki token ima svoju vjerojatnost

Stupčasti graf prikazuje samo nekoliko najviših. Pomičite klizač i pogledajte koliki dio ukupnog dobijete kad zbrajate sve više tokena s vrha. Prebacite s jedne rečenice na drugu i vidjet ćete koliko se oblik raspodjele može razlikovati.

Moje omiljeno jelo je?

Odaberite rečenicu
  • ·pizza48%
  • ·p12%
  • ·pizz2.8%
  • ·pala2.5%
  • ...2.1%
  • Rječnik ovog modela ima 262.144 tokena. Baš svaki dobiva vjerojatnost, a zajedno daju 100 %.
  • Za ovu rečenicu prvih 2 doseže 50 %, 78 doseže 90 %, a 1.039 doseže 99 %.
  • Najmanje vjerojatan token ima vjerojatnost s 16 nula iza decimalnog zareza. Pa ipak, nije nula.

TRY 2

Bacite kocku i izvucite riječ

Jedan se token s popisa bira kockom čije strane nisu jednako vjerojatne: što je vjerojatnost tokena veća, lakše ga je pogoditi. Najprije bacajte jedan po jedan put, a zatim odjednom 100 ili 1000 puta.

Moje omiljeno jelo je?

Odaberite rečenicu

Pritisnite gumb i bacite kocku. Dok je ne bacite, nitko ne zna koji će token izaći.

  • Tokenvjerojatnostizvučeni udio (broj)
  • ·pizza
    48%
    — (0)
  • ·p
    12%
    — (0)
  • ·pizz
    2.8%
    — (0)
  • ·pala
    2.5%
    — (0)
  • ...
    2.1%
    — (0)
  • ·gula
    1.7%
    — (0)
  • ·ri
    1.6%
    — (0)
  • ·doma
    1.0%
    — (0)
  • ostali
    28%
    — (0)

„Ostali” su svih 262.114 tokena ispod 30. mjesta zajedno. Svaki je sićušan, ali zajedno čine nešto što se ne može zanemariti. Ovu kocku baca generator slučajnih brojeva u vašem pregledniku.

TRY 3

Uvijek prvo mjesto ili kocka?

Ako se uvijek bira token s prvog mjesta, tekst je svaki put isti. S kockom jedan drukčiji token na početku mijenja sve što slijedi. Pritisnite oba gumba nekoliko puta i usporedite.

Moje omiljeno jelo je?

Pritisnite gumb i pogledajte nastavak koji je model stvarno napisao.

    Rezultati kocke su 100 stvarnih uzoraka iz modela, prikazanih redom (sjemena slučajnih brojeva od 1 do 100). Obratite pozornost na tekstove koji počinju tokenom male vjerojatnosti. Model je malen, pa njegov hrvatski nije uvijek ispravan.

    CHECK

    Kratka provjera

    Tri pitanja o onome što je ova epizoda pokazala.

    Q1Što LLM daje na izlazu?

    Q2Jedan token ima vjerojatnost 33 %, a drugi 1 %. Što se događa kad bira kocka?

    Q3Je li najvjerojatniji token „točan odgovor”?

    Sve vjerojatnosti i tekstovi na ovoj stranici izlaz su stvarnog jezičnog modela (Gemma 3 4B). Rezultati su izračunani unaprijed, pa se ništa ne šalje na poslužitelj. Samo se kocka baca, i to u vašem pregledniku.