Granice n-gram jezičnih modela: zašto LLM treba neuronsku mrežu
Kad bigram, koji gleda jednu prethodnu riječ, proširimo na dvije, tri ili četiri riječi, dobijemo n-gram model. Ovdje pokrećete pravi takav model, prebrojan iz cijele knjige, i otkrivate gdje zapinje.
- POINT 1N-gram model gleda nekoliko posljednjih riječi i broji što je došlo nakon njih.
- POINT 2Kad gleda više riječi, tablica eksplodira, a tekst postaje prijepis knjige.
- POINT 3Tablica nema odgovor za nizove koje nikad nije vidjela. Zato su potrebne neuronske mreže.
TRY 1
Mijenjajte koliko riječi vidi i pustite ga da piše
Klizačem mijenjate n. Uz n = 1 model ne gleda ništa i samo niže riječi, n = 2 je bigram iz prošle epizode, a n = 5 gleda četiri prethodne riječi. Svakim pritiskom gumba sljedeća se riječ izvlači ždrijebom, razmjerno brojevima u tablici.
Bilo je
Brojimo knjigu…
- nizovi duljine 3 u ovoj knjizi48.824
- mogući nizovi duljine 3957.419.094.016
- redci sa samo jednim kandidatom86%
Prebrojana knjiga: Ivana Brlić-Mažuranić, Priče iz davnine. Riječi i interpunkcijskih znakova zajedno: 54.466, različitih: 9.856. Tablice se broje u vašem pregledniku kad otvorite stranicu.
TRY 2
Usporedite veličinu tablica
Svaka dodatna riječ množi broj mogućih nizova veličinom rječnika. No nizova koji se stvarno pojavljuju u knjizi gotovo da i nema više. Tablica ostaje gotovo cijela prazna, a sve više postojećih redaka ima samo jednog kandidata.
Uz n = 5, 99% redaka ima samo jednog kandidata za sljedeću riječ. Nema se što izvlačiti: model samo čita knjigu.
| n | u knjizi | mogućih | jedan kandidat | ostatak pronađen |
|---|---|---|---|---|
| n = 1 | 9.856 | 9.856 | — | 81% |
| n = 2 | 35.092 | 97.140.736 | 63% | 37% |
| n = 3 | 48.824 | 957.419.094.016 | 86% | 11% |
| n = 4 | 52.960 | 9.436.322.590.621.696 | 96% | 2,6% |
| n = 5 | 53.946 | 93.004.395.453.167.435.776 | 99% | 0,6% |
broj nizova duljine 2 (znamenki: 11)68719476736
broj atoma u svemiru, otprilike (10 na 80. potenciju, znamenki: 81)100000000000000000000000000000000000000000000000000000000000000000000000000000000
Pomaknite klizač udesno. Uz niz duljine 15 broj premašuje broj atoma u svemiru.
Svi brojevi u gornjoj tablici stvarno su prebrojani iz knjige Ivana Brlić-Mažuranić, Priče iz davnine.
TRY 3
Susret s nizom koji nikad nije vidio
U tablici tražimo dva izraza: jedan iz knjige i isti taj izraz u kojem je jedna riječ zamijenjena sličnom. Pomičite klizač i pogledajte koliko riječi treba ostati da se redak pronađe. Na kraju isti izraz možete dati pravom LLM-u.
a mati reče?
- a mati rečeu tabliciBroj pojavljivanja: 1. Slijedilo je: sinu 1
- mati rečeu tabliciBroj pojavljivanja: 1. Slijedilo je: sinu 1
- rečeu tabliciBroj pojavljivanja: 145. Slijedilo je: : 38 · , 8 · baka 5
Ovaj je izraz iz knjige, pa se pronalazi i dugi niz. Sada odaberite izraz sa zamijenjenom riječi.
- sinu100%
Rezultat LLM-a stvarna je raspodjela vjerojatnosti modela Gemma 3 4B (google/gemma-3-4b-it, GGUF Q4_K_M) / llama.cpp. Taj model sadrži 3.880.099.328 brojeva: golem je, ali neusporedivo manji od tablice svih mogućih nizova.
CHECK
Kratka provjera
Tri pitanja o onome što ste danas naučili.
Q1Što n-gram model s n = 3 (trigram) gleda kad pogađa sljedeću riječ?
Q2Zašto tekst postaje prijepis knjige kad model gleda više riječi?
Q3Što se dogodi kad u tablici potražimo niz koji se u knjizi ne pojavljuje nijednom?
NEXT #6
Kako LLM pretvara tekst u brojeve: ID-ovi tokena
Neuronska mreža je mehanizam koji računa, pa radi samo s brojevima. Sljedeći put: kako se tekst pretvara u brojeve, ID-ovi tokena.
Svi n-gram brojevi na ovoj stranici stvarno su prebrojani iz knjige Ivana Brlić-Mažuranić, Priče iz davnine. Vjerojatnosti LLM-a izlaz su pravog jezičnog modela (Gemma 3 4B (google/gemma-3-4b-it, GGUF Q4_K_M) / llama.cpp). Sve se računa u vašem pregledniku; ništa se ne šalje na poslužitelj.