Što je matrica? Linearne transformacije u srcu LLM-a
Matrica je tablica brojeva, složenih vodoravno i okomito. S dva retka i dva stupca ima samo četiri broja. Ta četiri broja pomiču cijelu ravninu. Pomiči ih sam i gledaj kako se slika mačke mijenja. Unutrašnjost LLM-a gotovo je cijela od takvih matrica.
- POINT 1Kad matricom množimo vektor, ona za svaki redak izračuna skalarni produkt i vrati novi vektor. Za dva retka i dva stupca: dva skalarna produkta.
- POINT 2Pomnožimo li istom matricom sve točke ravnine, pomakne se cijela slika. Lijevi stupac kaže kamo ide „jedan korak udesno“, desni kamo ide „jedan korak gore“. Zakretanje, rastezanje, ukošavanje, preokretanje. Kad je faktor površine 0, slika je spljoštena i ne može se vratiti.
- POINT 3U datoteci modela Gemma 3 4B nalazi se 239 matrica. U njima je 99,99 % brojeva modela (oko 3,88 milijardi). Pravilo je isto kao za dva puta dva. Razlika je samo u veličini.
TRY 1
Pomiči četiri broja matrice
Pomiči četiri klizača i mačka složena od perlica promijenit će oblik prema toj matrici. Crvena točka pokazuje kamo ide „jedan korak udesno (1, 0)“, a plava kamo ide „jedan korak gore (0, 1)“.
Crvena točka (jedan korak udesno) ide u (2, 0): to je lijevi stupac matrice. Plava točka (jedan korak gore) ide u (0, 1): to je desni stupac.
Faktor površine (determinanta) = 2 × 1 − 0 × 0 = 2. Slika nije spljoštena.
Matrica koja to poništava: 0,5001
Svaki klizač ide od −2 do 2, u koracima od 0,1. Kakva god bila matrica, ravne crte ostaju ravne, a točka u sredini se ne miče (linearna transformacija). Nijedna matrica ne može saviti sliku.
TRY 2
Matrica × vektor, ručno
Jednu točku množimo matricom iz dijela TRY 1. Skalarni produkt gornjeg retka i točke njezin je novi vodoravni položaj. Skalarni produkt donjeg retka novi je okomiti položaj.
Trenutačna matrica (mijenjaš je u dijelu TRY 1): 2001
Točka (1, 1,5) odlazi u (2, 1,5).
Isprekidani krug je izvorna točka, a žuti mjesto na koje odlazi. Svaka točka slike pomiče se istim računom.
TRY 3
Ista matrica, opet i opet
Matricom možeš množiti koliko god puta želiš. Svaki pritisak na „pomnoži još jednom“ dodaje jedan otisak mačke. Koliko god puta množio, sve se spaja u jednu matricu.
Broj množenja: 3. 0,87−0,50,50,87 → spojeno: 0−110
„Zakreni 30°“ napravi puni krug u 12 koraka. „Smanji i zakreni“ u spirali ide prema sredini. „Povećaj × 1,1“ malen je korak, ali ponavljanjem raste bez kraja. Možeš pritisnuti do 24 puta.
TRY 4
Zamijeni redoslijed
Množimo dvjema različitim matricama, jednom za drugom. Je li rezultat isti ako zamijenimo redoslijed?
dvaput šire → zakreni 90°
0−120zakreni 90° → dvaput šire
0−210Redoslijed mijenja rezultat, pa i četiri broja spojene matrice.
Iznad svake slike stoji jedna matrica u koju se te dvije spajaju. Koliko god promjena nanizali, rezultat su opet samo četiri broja.
TRY 5
Prave matrice u Gemmi
Otvorili smo datoteku modela Gemma 3 4B i prebrojili sve matrice u njoj. Pritisni oblik i vidjet ćeš koliko je takvih matrica, koliko brojeva primaju i koliko vraćaju.
Matrica: 239 (uz to 205 običnih nizova brojeva). Model ima ukupno 3.880.099.328 brojeva. U matricama je 99,99 % svih brojeva.
Matrica s 10.240 redaka × 2.560 stupaca: 68 komada, u svakoj 26.214.400 brojeva. Svaka prima 2.560 brojeva i vraća 10.240. Izlazi više brojeva nego što ulazi.
Izvukli smo jednu. U datoteci se zove blk.0.attn_q.weight. Ima 2.048 redaka × 2.560 stupaca, ukupno 5.242.880 brojeva. Ovo je njezin gornji lijevi kut, 6 redaka × 6 stupaca.
| 0,015 | −0,004 | 0,000 | −0,004 | 0,012 | −0,008 | … |
| −0,024 | −0,015 | −0,015 | 0,003 | −0,024 | −0,001 | … |
| 0,014 | 0,008 | −0,033 | −0,012 | −0,012 | 0,029 | … |
| 0,018 | 0,014 | 0,002 | 0,018 | 0,030 | 0,026 | … |
| 0,015 | 0,010 | −0,010 | −0,026 | −0,021 | 0,015 | … |
| 0,003 | 0,015 | 0,015 | −0,018 | 0,020 | −0,001 | … |
| ⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ |
Pomnožimo li ovom matricom redak riječi „pas“ (2.560 brojeva), izlazi 2.048 brojeva. Za to treba 5.242.880 množenja. Prvi izlazni broj je skalarni produkt s 1. retkom: 0,015 × 0,019 + −0,004 × 0,008 + … = −0,020.
redak riječi „pas“
0,019
0,008
0,032
0,005
0,006
0,003
⋮
izlaz
−0,020
0,026
0,034
−0,017
0,013
0,023
⋮
pomaknuti ulaz
0,018
0,046
0,011
0,055
−0,002
0,037
⋮
njegov izlaz
−0,020
0,026
0,034
−0,017
0,013
0,023
⋮
Brojeve riječi „pas“ pomaknuli smo za 1,01 u jednom određenom smjeru (izvorni redak ima duljinu 1,01). Izlaznih 2.048 brojeva ipak je isto: najveća razlika između dvaju izlaza je 0,0000000000000002. Različiti ulazi, isti izlaz. Promjena koja se ne može poništiti.
Brojevi su raspakirani iz datoteke (koja ih čuva u otprilike 4 bita). U modelu se redak prije ove matrice još skalira; ovdje množimo sam redak. Čemu koja matrica služi, slijedi u kasnijim epizodama. Riječ „mačka“ u ovom modelu nije jedan token, pa je u primjeru riječ „pas“.
CHECK
Provjeri se
Tri pitanja o onome što je ova epizoda pokazala.
Q1Matricom „2, 1 / 1, 3“ množimo vektor (3, 2). Što izlazi?
Q2Matrica „1, 0 / 0, 0“ spljoštila je sliku. Koja je matrica vraća?
Q3Koliko je brojeva modela Gemma 3 4B (oko 3,88 milijardi) u matricama?
NEXT #24
Mnogo dimenzija: zašto embeddinzi LLM-a imaju stotine dimenzija
Sljedeći put: prostori s mnogo dimenzija. Zašto embeddinzi LLM-a imaju stotine, pa i tisuće dimenzija?
Broj matrica, njihovi oblici i brojevi u njima pročitani su iz datoteke modela Gemma 3 4B (Q4_K_M) (gemma-3-4b-it-Q4_K_M.gguf) alatom gguf-py iz llama.cpp-a. Promjene dva puta dva računaju se u tvom pregledniku. Ništa se ne šalje na poslužitelj.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…