Što su parametri LLM-a? Model je jedna golema funkcija
Model je funkcija: brojevi ulaze, brojevi izlaze. Brojevi koji određuju kako se ponaša zovu se parametri. Na ovoj stranici sam okrećeš kotačiće (parametre) i gledaš kako ista kutija počinje raditi drugi posao. Na kraju vidiš rezultate pokusa u kojem su parametrima stvarnog LLM-a zamijenjena mjesta.
- POINT 1Funkcija je kutija: broj uđe, a po čvrstom pravilu broj izađe. Isti ulaz uvijek daje isti izlaz.
- POINT 2Brojevi koji određuju kako se funkcija ponaša su parametri. Promijeniš im vrijednosti i ista kutija radi drugi posao.
- POINT 3LLM je jedna golema funkcija koju određuje oko 3,9 milijardi parametara. Sve određuju njihove vrijednosti i mjesta.
TRY 1
Okreći kotačiće i promijeni posao kutije
Pravilo ove kutije je „izlaz = a × ulaz + b“. Brojevi a i b su njezini kotačići (parametri). Formula ostaje ista, mijenjaš samo vrijednosti kotačića, a kutija radi tri različita posla. Kotačić možeš povlačiti, pomicati klizač ili pritiskati − i +.
izlaz = 1 × ulaz + 0
| ulaz | željeni izlaz | izlaz sada |
|---|---|---|
| 1 | 3 | 1 |
| 2 | 5 | 2 |
| 3 | 7 | 3 |
| 5 | 11 | 5 |
| 10 | 21 | 10 |
Okreći kotačiće dok se izlaz ne poklopi sa željenim. Zasad se poklapa 0 od 5 redaka.
Stupci su trenutačni izlazi za ulaze iz tablice. Stupac pozeleni kad se poklopi sa željenim izlazom. Sve se računa u tvojem pregledniku.
TRY 2
Više kotačića opisuje složenije odnose
Namjesti svijetloplavu crtu tako da prati narančaste točke. S 2 kotačića možeš povući samo ravnu crtu. S 4, pa s 8, crta može pratiti i vijugav niz točaka. Ručno je to teško, pa postoji i gumb koji kotačiće namjesti automatski.
Kad je kotačića 2, najmanje moguće odstupanje je 0,297. Okreći kotačiće ili pritisni „Namjesti automatski“.
Crta je k1 + k2·x + k3·x² + … Gumb „Namjesti automatski“ računa vrijednosti kotačića s najmanjim odstupanjem (metoda najmanjih kvadrata). Kod stvarnog LLM-a posao koji odgovara tom gumbu zove se učenje.
TRY 3
Zamijeni mjesta parametrima stvarnog LLM-a
Stvarni model (Gemma 3 4B) ima oko 3,9 milijardi kotačića. Što će biti s izlazom ako ne promijenimo nijednu vrijednost, nego im samo zamijenimo mjesta? Okreći kotačić i povećavaj udio koji se premješta. Svi kandidati i svi nastavci izmjereni su stvarnim pokretanjem modela.
Što je model napisao daljeGlavni grad Hrvatske je Zagreb. Zagreb je smješten u središnjoj Hrvatskoj,
Ovo je izvorni model. „Zagreb“ je prvi s 88%, a nastavak je ispravan. Okreni kotačić i premjesti dio parametara.
Dio stvarnih parametara (ukupno ih je 3.880.099.328; datoteka ima oko 2,49 GB). Sve su to mali brojevi, blizu nule.
- +0,01539
- −0,00377
- +0,00006
- −0,00377
- +0,01156
- −0,00760
- +0,00773
- −0,01143
- −0,00377
- −0,01143
- −0,02293
- +0,01156
- −0,01143
- +0,00389
- +0,00006
- +0,01922
- +0,01922
- +0,01539
- +0,01156
- −0,00377
- +0,00773
- −0,03826
- +0,01539
- −0,03826
Parametri se premještaju u blokovima od 256 susjednih, na drugo mjesto unutar iste sastavnice (rezultat jednog nasumičnog pokusa). Uz isti udio, način na koji se model pokvari ovisi o tome koji su blokovi pogođeni. Zato je na 0,3 % pokvarena samo jedna od dviju rečenica.
CHECK
Provjeri se
Tri pitanja o onome što smo danas naučili.
Q1Što je parametar?
Q2Istu rečenicu ubaciš dvaput. Kakve su vjerojatnosti sljedećeg tokena?
Q3Svi parametri zadrže vrijednosti, ali im se zamijene mjesta. Što se dogodi?
NEXT #8
Cijeli put kroz LLM: tokenizacija, transformer, generiranje
Sljedeći put sve korake unutar te goleme funkcije, od ulaza do izlaza, crtamo na jednu kartu: tokenizacija, transformer, generiranje.
Kandidati, vjerojatnosti i nastavci u dijelu „Zamijeni mjesta parametrima stvarnog LLM-a“ te vrijednosti parametara izmjereni su na stvarnom jezičnom modelu (Gemma 3 4B, 3.880.099.328 parametara). Rezultati su izračunani unaprijed, pa se ništa ne šalje na poslužitelj. Račune s kotačićima tvoj preglednik radi na licu mjesta.