Javite se

Razumjeti LLM od nule#5

Granice n-gram jezičnih modela: zašto LLM treba neuronsku mrežu

Kad bigram, koji gleda jednu prethodnu riječ, proširimo na dvije, tri ili četiri riječi, dobijemo n-gram model. Ovdje pokrećete pravi takav model, prebrojan iz cijele knjige, i otkrivate gdje zapinje.

  • POINT 1N-gram model gleda nekoliko posljednjih riječi i broji što je došlo nakon njih.
  • POINT 2Kad gleda više riječi, tablica eksplodira, a tekst postaje prijepis knjige.
  • POINT 3Tablica nema odgovor za nizove koje nikad nije vidjela. Zato su potrebne neuronske mreže.

TRY 1

Mijenjajte koliko riječi vidi i pustite ga da piše

Klizačem mijenjate n. Uz n = 1 model ne gleda ništa i samo niže riječi, n = 2 je bigram iz prošle epizode, a n = 5 gleda četiri prethodne riječi. Svakim pritiskom gumba sljedeća se riječ izvlači ždrijebom, razmjerno brojevima u tablici.

Bilo je

Brojimo knjigu…

  • nizovi duljine 3 u ovoj knjizi48.824
  • mogući nizovi duljine 3957.419.094.016
  • redci sa samo jednim kandidatom86%

Prebrojana knjiga: Ivana Brlić-Mažuranić, Priče iz davnine. Riječi i interpunkcijskih znakova zajedno: 54.466, različitih: 9.856. Tablice se broje u vašem pregledniku kad otvorite stranicu.

TRY 2

Usporedite veličinu tablica

Svaka dodatna riječ množi broj mogućih nizova veličinom rječnika. No nizova koji se stvarno pojavljuju u knjizi gotovo da i nema više. Tablica ostaje gotovo cijela prazna, a sve više postojećih redaka ima samo jednog kandidata.

Što stupci prikazuju

Uz n = 5, 99% redaka ima samo jednog kandidata za sljedeću riječ. Nema se što izvlačiti: model samo čita knjigu.

nu knjizimogućihjedan kandidatostatak pronađen
n = 19.8569.856—81%
n = 235.09297.140.73663%37%
n = 348.824957.419.094.01686%11%
n = 452.9609.436.322.590.621.69696%2,6%
n = 553.94693.004.395.453.167.435.77699%0,6%

broj nizova duljine 2 (znamenki: 11)68719476736

broj atoma u svemiru, otprilike (10 na 80. potenciju, znamenki: 81)100000000000000000000000000000000000000000000000000000000000000000000000000000000

Pomaknite klizač udesno. Uz niz duljine 15 broj premašuje broj atoma u svemiru.

Svi brojevi u gornjoj tablici stvarno su prebrojani iz knjige Ivana Brlić-Mažuranić, Priče iz davnine.

TRY 3

Susret s nizom koji nikad nije vidio

U tablici tražimo dva izraza: jedan iz knjige i isti taj izraz u kojem je jedna riječ zamijenjena sličnom. Pomičite klizač i pogledajte koliko riječi treba ostati da se redak pronađe. Na kraju isti izraz možete dati pravom LLM-u.

Odaberite izraz

a mati reče?

  • a mati rečeu tabliciBroj pojavljivanja: 1. Slijedilo je: sinu 1
  • mati rečeu tabliciBroj pojavljivanja: 1. Slijedilo je: sinu 1
  • rečeu tabliciBroj pojavljivanja: 145. Slijedilo je: : 38 · , 8 · baka 5

Ovaj je izraz iz knjige, pa se pronalazi i dugi niz. Sada odaberite izraz sa zamijenjenom riječi.

  • sinu100%

Rezultat LLM-a stvarna je raspodjela vjerojatnosti modela Gemma 3 4B (google/gemma-3-4b-it, GGUF Q4_K_M) / llama.cpp. Taj model sadrži 3.880.099.328 brojeva: golem je, ali neusporedivo manji od tablice svih mogućih nizova.

CHECK

Kratka provjera

Tri pitanja o onome što ste danas naučili.

Q1Što n-gram model s n = 3 (trigram) gleda kad pogađa sljedeću riječ?

Q2Zašto tekst postaje prijepis knjige kad model gleda više riječi?

Q3Što se dogodi kad u tablici potražimo niz koji se u knjizi ne pojavljuje nijednom?

Svi n-gram brojevi na ovoj stranici stvarno su prebrojani iz knjige Ivana Brlić-Mažuranić, Priče iz davnine. Vjerojatnosti LLM-a izlaz su pravog jezičnog modela (Gemma 3 4B (google/gemma-3-4b-it, GGUF Q4_K_M) / llama.cpp). Sve se računa u vašem pregledniku; ništa se ne šalje na poslužitelj.