Bigramski jezični model: najjednostavniji jezični model nastaje brojanjem
LLM je stroj koji daje vjerojatnost sljedeće riječi. Te vjerojatnosti mogu nastati i samim brojanjem: parove susjednih riječi prebrojimo u tablicu i podijelimo s ukupnim brojem. To je već jezični model koji piše tekst. Isprobajte ga na vlastitom tekstu.
- POINT 1Bigram je par susjednih riječi. Brojanjem „što je došlo sljedeće” nastaje tablica.
- POINT 2Kad svaki broj podijelimo s ukupnim, dobijemo vjerojatnost sljedeće riječi.
- POINT 3Pogledaj u tablicu, odaberi, dodaj: tako nastaje tekst — ali model vidi samo jednu riječ prije.
TRY 1
Prebrojimo četiri rečenice u tablicu
Brojimo iste četiri rečenice kao u videu, rečenicu po rečenicu. Lijevo u tablici je prethodna riječ, a desno riječi koje su došle nakon nje i koliko puta. Pratite kako se brojevi i vjerojatnosti mijenjaju sa svakom dodanom rečenicom. Pritisnite riječ u tablici da biste njezin redak vidjeli u 3D-u.
- početakmačkejedusamoribu.
- početakpsijedusamomeso.
- početakmačkepijusamovodu.
- početakpticegledajusamoribu.
Prebrojeno rečenica: 1. Riječ „samo” pojavila se 1 puta; ispod je ono što je došlo nakon nje.
- ribu×1
| Prethodna riječ | Što je došlo sljedeće i koliko puta |
|---|---|
| mačke×1 | |
| jedu×1 | |
| samo×1 | |
| ribu×1 | |
| .×1 |
„početak” je oznaka početka rečenice. Stoji ispred svake rečenice kako bismo mogli izbrojiti i prve riječi.
TRY 2
Složite tablicu bigrama iz vlastitog teksta
Sada isprobajte vlastiti tekst. Upišite bilo koji tekst u okvir (na početku je u njemu istih 40 rečenica kao u videu) i pritisnite gumb: stranica ga odmah prebroji i složi tablicu. Vaš se tekst nikamo ne šalje.
- 40rečenica
- 70različitih riječi
- 4.900polja u tablici (70 × 70)
- 133polja s brojem (2.7%)
Riječ „u” pojavila se 16 puta, a nakon nje je došlo 7 različitih riječi. Najčešća je „vrtu” (31%).
- vrtu31%
- kuhinji13%
- školu13%
- parku13%
- kući13%
- školi13%
| Prethodna riječ | Što je došlo sljedeće i koliko puta |
|---|---|
| mačka×10pas×7dijete×6majka×4ptica×3otac×3u×3… | |
| vrtu×5kuhinji×2školu×2parku×2kući×2školi×2park×1 | |
| gleda×3voli×2čeka×2se×1pije×1spava×1jede×1… | |
| voli×2se×1ide×1pije×1noću×1jede×1 | |
| se×1ide×1voli×1spava×1daje×1pjeva×1.×1 | |
| igra×3budi×2kasno×1 | |
| ribu×1meso×1mlijeko×1vodu×1dijete×1majku×1 | |
| psom×2prozora×1ocem×1mačkom×1djetetom×1 | |
| .×5 |
Tablica ima „različite riječi × različite riječi” polja, ali broj se upiše u tek mali dio njih. Riječi se pišu malim slovima, a točka se broji kao riječ.
TRY 3
Pišemo tekst iz tablice
Sada pišemo tekst pomoću tablice koju ste složili iznad. Gleda se samo redak posljednje riječi. Bacite kocku i sljedeća riječ bira se s vjerojatnošću razmjernom njezinu broju. Kad ispadne točka (kraj rečenice), gotovi smo.
?
Gledamo redak „početak”. Kandidata je 11. Bacite kocku i odredite prvu riječ.
- mačka25%
- pas18%
- dijete15%
- majka10%
- ptica7.5%
Rečenice čudnog značenja nastaju zato što se vidi samo jedna riječ prije. Produljite ili promijenite tekst i pogledajte kako se rečenice mijenjaju.
CHECK
Kratki kviz
Tri pitanja za provjeru naučenoga.
Q1Što je bigram?
Q2Riječ „samo” pojavljuje se 4 puta, a 2 puta nakon nje dolazi „ribu”. Kolika je u bigramskom modelu vjerojatnost da nakon „samo” dođe „ribu”?
Q3Koji je glavni razlog zbog kojeg bigramski model piše rečenice čudnog značenja?
NEXT #5
Granice n-gram jezičnih modela: zašto LLM treba neuronsku mrežu
Sljedeći put: što ako umjesto jedne gledamo dvije ili tri riječi? Ideja koja se zove n-gram i njezine granice.
Svi brojevi i vjerojatnosti na ovoj stranici stvarno su izbrojeni, u vašem pregledniku, iz teksta na stranici. Tekst se ne šalje na poslužitelj.