Javite se

Razumjeti LLM od nule#7

Što su parametri LLM-a? Model je jedna golema funkcija

Model je funkcija: brojevi ulaze, brojevi izlaze. Brojevi koji određuju kako se ponaša zovu se parametri. Na ovoj stranici sam okrećeš kotačiće (parametre) i gledaš kako ista kutija počinje raditi drugi posao. Na kraju vidiš rezultate pokusa u kojem su parametrima stvarnog LLM-a zamijenjena mjesta.

  • POINT 1Funkcija je kutija: broj uđe, a po čvrstom pravilu broj izađe. Isti ulaz uvijek daje isti izlaz.
  • POINT 2Brojevi koji određuju kako se funkcija ponaša su parametri. Promijeniš im vrijednosti i ista kutija radi drugi posao.
  • POINT 3LLM je jedna golema funkcija koju određuje oko 3,9 milijardi parametara. Sve određuju njihove vrijednosti i mjesta.

TRY 1

Okreći kotačiće i promijeni posao kutije

Pravilo ove kutije je „izlaz = a × ulaz + b“. Brojevi a i b su njezini kotačići (parametri). Formula ostaje ista, mijenjaš samo vrijednosti kotačića, a kutija radi tri različita posla. Kotačić možeš povlačiti, pomicati klizač ili pritiskati − i +.

izlaz = 1 × ulaz + 0

1
0
Odaberi posao za kutiju:
Cilj: namjesti kotačiće tako da kutija radi „udvostruči i dodaj 1“
ulazželjeni izlazizlaz sada
131
252
373
5115
102110

Okreći kotačiće dok se izlaz ne poklopi sa željenim. Zasad se poklapa 0 od 5 redaka.

Stupci su trenutačni izlazi za ulaze iz tablice. Stupac pozeleni kad se poklopi sa željenim izlazom. Sve se računa u tvojem pregledniku.

TRY 2

Više kotačića opisuje složenije odnose

Namjesti svijetloplavu crtu tako da prati narančaste točke. S 2 kotačića možeš povući samo ravnu crtu. S 4, pa s 8, crta može pratiti i vijugav niz točaka. Ručno je to teško, pa postoji i gumb koji kotačiće namjesti automatski.

Odaberi broj kotačića:odstupanje od točaka: 0,593
0
0

Kad je kotačića 2, najmanje moguće odstupanje je 0,297. Okreći kotačiće ili pritisni „Namjesti automatski“.

Crta je k1 + k2·x + k3·x² + … Gumb „Namjesti automatski“ računa vrijednosti kotačića s najmanjim odstupanjem (metoda najmanjih kvadrata). Kod stvarnog LLM-a posao koji odgovara tom gumbu zove se učenje.

TRY 3

Zamijeni mjesta parametrima stvarnog LLM-a

Stvarni model (Gemma 3 4B) ima oko 3,9 milijardi kotačića. Što će biti s izlazom ako ne promijenimo nijednu vrijednost, nego im samo zamijenimo mjesta? Okreći kotačić i povećavaj udio koji se premješta. Svi kandidati i svi nastavci izmjereni su stvarnim pokretanjem modela.

0%

Što je model napisao daljeGlavni grad Hrvatske je Zagreb. Zagreb je smješten u središnjoj Hrvatskoj,

Ovo je izvorni model. „Zagreb“ je prvi s 88%, a nastavak je ispravan. Okreni kotačić i premjesti dio parametara.

Odaberi ulaznu rečenicu:

Dio stvarnih parametara (ukupno ih je 3.880.099.328; datoteka ima oko 2,49 GB). Sve su to mali brojevi, blizu nule.

  1. +0,01539
  2. −0,00377
  3. +0,00006
  4. −0,00377
  5. +0,01156
  6. −0,00760
  7. +0,00773
  8. −0,01143
  9. −0,00377
  10. −0,01143
  11. −0,02293
  12. +0,01156
  13. −0,01143
  14. +0,00389
  15. +0,00006
  16. +0,01922
  17. +0,01922
  18. +0,01539
  19. +0,01156
  20. −0,00377
  21. +0,00773
  22. −0,03826
  23. +0,01539
  24. −0,03826

Parametri se premještaju u blokovima od 256 susjednih, na drugo mjesto unutar iste sastavnice (rezultat jednog nasumičnog pokusa). Uz isti udio, način na koji se model pokvari ovisi o tome koji su blokovi pogođeni. Zato je na 0,3 % pokvarena samo jedna od dviju rečenica.

CHECK

Provjeri se

Tri pitanja o onome što smo danas naučili.

Q1Što je parametar?

Q2Istu rečenicu ubaciš dvaput. Kakve su vjerojatnosti sljedećeg tokena?

Q3Svi parametri zadrže vrijednosti, ali im se zamijene mjesta. Što se dogodi?

Kandidati, vjerojatnosti i nastavci u dijelu „Zamijeni mjesta parametrima stvarnog LLM-a“ te vrijednosti parametara izmjereni su na stvarnom jezičnom modelu (Gemma 3 4B, 3.880.099.328 parametara). Rezultati su izračunani unaprijed, pa se ništa ne šalje na poslužitelj. Račune s kotačićima tvoj preglednik radi na licu mjesta.