Javite se

Razumjeti LLM od nule#4

Bigramski jezični model: najjednostavniji jezični model nastaje brojanjem

LLM je stroj koji daje vjerojatnost sljedeće riječi. Te vjerojatnosti mogu nastati i samim brojanjem: parove susjednih riječi prebrojimo u tablicu i podijelimo s ukupnim brojem. To je već jezični model koji piše tekst. Isprobajte ga na vlastitom tekstu.

  • POINT 1Bigram je par susjednih riječi. Brojanjem „što je došlo sljedeće” nastaje tablica.
  • POINT 2Kad svaki broj podijelimo s ukupnim, dobijemo vjerojatnost sljedeće riječi.
  • POINT 3Pogledaj u tablicu, odaberi, dodaj: tako nastaje tekst — ali model vidi samo jednu riječ prije.

TRY 1

Prebrojimo četiri rečenice u tablicu

Brojimo iste četiri rečenice kao u videu, rečenicu po rečenicu. Lijevo u tablici je prethodna riječ, a desno riječi koje su došle nakon nje i koliko puta. Pratite kako se brojevi i vjerojatnosti mijenjaju sa svakom dodanom rečenicom. Pritisnite riječ u tablici da biste njezin redak vidjeli u 3D-u.

  1. početakmačkejedusamoribu.
  2. početakpsijedusamomeso.
  3. početakmačkepijusamovodu.
  4. početakpticegledajusamoribu.

Prebrojeno rečenica: 1. Riječ „samo” pojavila se 1 puta; ispod je ono što je došlo nakon nje.

  • ribu×1
Prethodna riječŠto je došlo sljedeće i koliko puta
mačke×1
jedu×1
samo×1
ribu×1
.×1

„početak” je oznaka početka rečenice. Stoji ispred svake rečenice kako bismo mogli izbrojiti i prve riječi.

TRY 2

Složite tablicu bigrama iz vlastitog teksta

Sada isprobajte vlastiti tekst. Upišite bilo koji tekst u okvir (na početku je u njemu istih 40 rečenica kao u videu) i pritisnite gumb: stranica ga odmah prebroji i složi tablicu. Vaš se tekst nikamo ne šalje.

  • 40rečenica
  • 70različitih riječi
  • 4.900polja u tablici (70 × 70)
  • 133polja s brojem (2.7%)

Riječ „u” pojavila se 16 puta, a nakon nje je došlo 7 različitih riječi. Najčešća je „vrtu” (31%).

  • vrtu31%
  • kuhinji13%
  • školu13%
  • parku13%
  • kući13%
  • školi13%
Prethodna riječŠto je došlo sljedeće i koliko puta
mačka×10pas×7dijete×6majka×4ptica×3otac×3u×3…
vrtu×5kuhinji×2školu×2parku×2kući×2školi×2park×1
gleda×3voli×2čeka×2se×1pije×1spava×1jede×1…
voli×2se×1ide×1pije×1noću×1jede×1
se×1ide×1voli×1spava×1daje×1pjeva×1.×1
igra×3budi×2kasno×1
ribu×1meso×1mlijeko×1vodu×1dijete×1majku×1
psom×2prozora×1ocem×1mačkom×1djetetom×1
.×5

Tablica ima „različite riječi × različite riječi” polja, ali broj se upiše u tek mali dio njih. Riječi se pišu malim slovima, a točka se broji kao riječ.

TRY 3

Pišemo tekst iz tablice

Sada pišemo tekst pomoću tablice koju ste složili iznad. Gleda se samo redak posljednje riječi. Bacite kocku i sljedeća riječ bira se s vjerojatnošću razmjernom njezinu broju. Kad ispadne točka (kraj rečenice), gotovi smo.

?

Gledamo redak „početak”. Kandidata je 11. Bacite kocku i odredite prvu riječ.

  • mačka25%
  • pas18%
  • dijete15%
  • majka10%
  • ptica7.5%

Rečenice čudnog značenja nastaju zato što se vidi samo jedna riječ prije. Produljite ili promijenite tekst i pogledajte kako se rečenice mijenjaju.

CHECK

Kratki kviz

Tri pitanja za provjeru naučenoga.

Q1Što je bigram?

Q2Riječ „samo” pojavljuje se 4 puta, a 2 puta nakon nje dolazi „ribu”. Kolika je u bigramskom modelu vjerojatnost da nakon „samo” dođe „ribu”?

Q3Koji je glavni razlog zbog kojeg bigramski model piše rečenice čudnog značenja?

Svi brojevi i vjerojatnosti na ovoj stranici stvarno su izbrojeni, u vašem pregledniku, iz teksta na stranici. Tekst se ne šalje na poslužitelj.