LEARN
Razumjeti LLM od nule
Ove stranice prate video-seriju od 100 epizoda. Nakon svakog videa sami pokrenite isti mehanizam i upišite vlastite riječi da vidite što će se dogoditi.
1. dioVelika slika
- #1Što je LLM? Veliki jezični model predviđa sljedeću riječDostupno
- #2Kako LLM generira tekst: autoregresivno, token po tokenDostupno
- #3Izlaz LLM-a je raspodjela vjerojatnosti: predviđanje sljedećeg tokenaDostupno
- #4Bigramski jezični model: najjednostavniji jezični model nastaje brojanjemDostupno
- #5Granice n-gram jezičnih modela: zašto LLM treba neuronsku mrežuDostupno
- #6Kako LLM pretvara tekst u brojeve: ID-ovi tokenaDostupno
- #7Što su parametri LLM-a? Model je jedna golema funkcijaDostupno
- #8Cijeli put kroz LLM: tokenizacija, transformer, generiranjeDostupno
2. dioTokenizacija
- #9Što je tokenizacija? Znakovi, riječi i podriječiDostupno
- #10Byte Pair Encoding (BPE) 1. dio: spajanje najčešćeg paraDostupno
- #11BPE 2. dio: učenje rječnika tokenizatoraDostupno
- #12Tokenizator: kodiranje i dekodiranje teksta u ID-ove tokenaU pripremi
- #13Zašto broj tokena ovisi o jeziku: usporedba tokenizacije u LLM-uDostupno
- #14Posebni tokeni i predlošci razgovora: kako LLM čita razgovorU pripremi
- #15Što je kontekstni prozor? Koliko LLM može pročitati odjednomU pripremi
- #16Zašto LLM griješi u slovkanju i računanju: zamke tokenizacijeU pripremi
3. dioVektori i embeddinzi
- #17Što je vektor? Kako LLM prikazuje riječi brojevimaU pripremi
- #18Skalarni produkt i kosinusna sličnost: kako LLM mjeri sličnost značenjaU pripremi
- #19One-hot vektori i njihove granice: zašto LLM treba embeddingeU pripremi
- #20Što je embedding? Tablica ugrađivanja tokenaU pripremi
- #21Prostor embeddinga riječi: zašto su slične riječi blizuU pripremi
- #22Vektori riječi: kralj − muškarac + žena = kraljica (word2vec)U pripremi
- #23Što je matrica? Linearne transformacije u srcu LLM-aU pripremi
- #24Mnogo dimenzija: zašto embeddinzi LLM-a imaju stotine dimenzijaU pripremi
- #25Kako LLM zna redoslijed riječi? Problem pozicijeU pripremi
4. dioKako neuronske mreže uče
- #26Što je neuron? Težine i pomaci u neuronskoj mrežiU pripremi
- #27Aktivacijske funkcije (ReLU, GELU): nelinearnost u neuronskoj mrežiU pripremi
- #28Višeslojni perceptron (MLP): slaganje slojeva neuronske mrežeU pripremi
- #29Funkcija softmax: pretvaranje logita u vjerojatnostiU pripremi
- #30Funkcija gubitka i unakrsna entropija: mjerenje pogrešaka LLM-aU pripremi
- #31Što je gradijent? Smjer učenja neuronske mrežeU pripremi
- #32Gradijentni spust ručno: temeljni algoritam strojnog učenjaU pripremi
- #33Propagacija unatrag (backpropagation) 1. dio: lančano praviloU pripremi
- #34Propagacija unatrag (backpropagation) 2. dio: računski graf i autogradU pripremi
- #35Mini-serije i stopa učenja: veličina koraka u treniranju neuronske mrežeU pripremi
- #36Prenaučenost i generalizacija: kad model strojnog učenja uči napametU pripremi
- #37Gradimo neuronski jezični model: embeddinzi + MLP za sljedeći tokenU pripremi
5. dioPažnja
- #38Što je pažnja (attention)? Kako LLM čita kontekstU pripremi
- #39Query, Key, Value: tri uloge u mehanizmu pažnje (attention)U pripremi
- #40Pažnja ručno: Scaled Dot-Product Attention korak po korakU pripremi
- #41Skaliranje pažnje (attention): zašto dijelimo s √d prije softmaxaU pripremi
- #42Kauzalna maska: kako GPT ne gleda buduće tokeneU pripremi
- #43Samopažnja (self-attention) kao račun s matricama: srce transformeraU pripremi
- #44Višeglava pažnja (multi-head attention): kontekst iz više kutovaU pripremi
- #45Što gledaju glave pažnje? Vizualizacija pažnje u LLM-uU pripremi
- #46Pozicijsko kodiranje u transformeru: pozicija pomoću sinusa i kosinusaU pripremi
- #47RoPE (rotacijsko pozicijsko ugrađivanje): pozicija u modernim LLM-ovimaU pripremi
- #48Složenost pažnje (attention): zašto dug kontekst usporava LLMU pripremi
- #49Jezični model samo s pažnjom: jednoslojni transformerU pripremi
6. dioSlaganje transformera
- #50Rezidualne veze: zašto se duboki transformeri mogu treniratiU pripremi
- #51Normalizacija sloja (layer normalization): stabilan transformerU pripremi
- #52Feed-forward (MLP) sloj: druga polovica transformeraU pripremi
- #53Slažemo transformerski blok: pažnja + MLP + rezidualne vezeU pripremi
- #54Slaganje slojeva transformera: što dubina daje LLM-uU pripremi
- #55Rezidualni tok: kako informacija teče kroz transformerU pripremi
- #56Logiti i izlazni sloj (unembedding): od vektora natrag do tokenaU pripremi
- #57Brojimo parametre LLM-a: gdje su težine GPT-a?U pripremi
- #58Kako radi GPT od početka do kraja: od ulaza do sljedećeg tokenaU pripremi
7. dioTreniranje
- #59Podaci za treniranje LLM-a: samonadzirano učenje i sljedeći tokenU pripremi
- #60Kako čitati krivulju gubitka: dijagnoza treniranja LLM-aU pripremi
- #61Optimizatori u treniranju LLM-a: od SGD-a do Adama i AdamW-aU pripremi
- #62Raspored stope učenja i zagrijavanje (warmup) u treniranju LLM-aU pripremi
- #63Inicijalizacija težina: nestajući i eksplodirajući gradijenti u mrežiU pripremi
- #64Dropout i weight decay: regularizacija neuronskih mrežaU pripremi
- #65Treniraj mini GPT u pregledniku: transformer od nuleU pripremi
- #66Što LLM uči tijekom treniranja? Faze učenjaU pripremi
- #67Zakoni skaliranja: zašto su veći LLM-ovi pametnijiU pripremi
- #68Perpleksnost (perplexity): mjera kvalitete jezičnog modelaU pripremi
8. dioGeneriranje
- #69Pohlepno dekodiranje (greedy): najjednostavnije generiranje u LLM-uU pripremi
- #70Što je temperatura? Upravljanje nasumičnošću LLM-aU pripremi
- #71Top-k i top-p (nucleus) uzorkovanje u LLM-uU pripremi
- #72Repetition penalty: kako spriječiti da se LLM ponavljaU pripremi
- #73Beam search: generiranje teksta u LLM-u koje gleda unaprijedU pripremi
- #74KV cache: kako se ubrzava inferencija LLM-aU pripremi
- #75EOS token i max tokens: kada LLM prestaje generirati?U pripremi
- #76Strukturirani izlaz i JSON način: ograničavanje izlaza LLM-a gramatikomU pripremi
9. dioOd prediktora do asistenta
- #77Što je predtreniranje (pre-training)? Kako nastaje temeljni model LLM-aU pripremi
- #78Što je fino podešavanje (fine-tuning)? Dodatno učenje LLM-aU pripremi
- #79Instruction tuning: kako LLM postaje chat-asistentU pripremi
- #80RLHF: učenje potkrepljenjem iz ljudskih ocjena i usklađivanje LLM-aU pripremi
- #81Što je LoRA? Fino podešavanje LLM-a s malo parametaraU pripremi
- #82Sistemski prompt i učenje u kontekstu (in-context learning) u LLM-uU pripremi
- #83Few-shot promptovi: zašto prompt engineering djelujeU pripremi
- #84Chain of thought i modeli rasuđivanja: LLM koji razmišlja prije odgovoraU pripremi
10. dioPogled iznutra
- #85Logit lens: čitanje srednjih slojeva LLM-a (interpretabilnost)U pripremi
- #86Može li se vjerovati mapama pažnje? Interpretabilnost LLM-aU pripremi
- #87Superpozicija i značajke u LLM-u: uvod u rijetke autoenkodereU pripremi
- #88Sklopovi u LLM-u: praćenje računa mehanističkom interpretabilnošćuU pripremi
- #89Zašto LLM halucinira? Objašnjenje iz samog mehanizmaU pripremi
- #90Pamćenje i generalizacija u LLM-u: grokkingU pripremi
11. dioUčinkovito i praktično
- #91Što je kvantizacija? Manji i brži LLMU pripremi
- #92Destilacija znanja: kako nastaju mali jezični modeli (SLM)U pripremi
- #93Lokalni LLM na CPU-u: kako rade llama.cpp i GGUFU pripremi
- #94Kako radi RAG: generiranje prošireno pretraživanjem za LLMU pripremi
- #95AI agenti i alati: kako radi function calling u LLM-uU pripremi
- #96Multimodalni LLM: slike i zvuk kao tokeniU pripremi
- #97Dugi kontekst: kako LLM obrađuje vrlo duge ulazeU pripremi
12. dioZavršnica
- #98Evaluacija i benchmarkovi LLM-a: kako mjeriti i čitati rezultateU pripremi
- #99Ograničenja LLM-a i sigurnost umjetne inteligencijeU pripremi
- #100GPT od nule, finale: svaki korak LLM-a vlastitim rukamaU pripremi