Javite se

LEARN

Razumjeti LLM od nule

Ove stranice prate video-seriju od 100 epizoda. Nakon svakog videa sami pokrenite isti mehanizam i upišite vlastite riječi da vidite što će se dogoditi.

1. dioVelika slika

  1. #1Što je LLM? Veliki jezični model predviđa sljedeću riječDostupno
  2. #2Kako LLM generira tekst: autoregresivno, token po tokenDostupno
  3. #3Izlaz LLM-a je raspodjela vjerojatnosti: predviđanje sljedećeg tokenaDostupno
  4. #4Bigramski jezični model: najjednostavniji jezični model nastaje brojanjemDostupno
  5. #5Granice n-gram jezičnih modela: zašto LLM treba neuronsku mrežuDostupno
  6. #6Kako LLM pretvara tekst u brojeve: ID-ovi tokenaDostupno
  7. #7Što su parametri LLM-a? Model je jedna golema funkcijaDostupno
  8. #8Cijeli put kroz LLM: tokenizacija, transformer, generiranjeDostupno

2. dioTokenizacija

  1. #9Što je tokenizacija? Znakovi, riječi i podriječiDostupno
  2. #10Byte Pair Encoding (BPE) 1. dio: spajanje najčešćeg paraDostupno
  3. #11BPE 2. dio: učenje rječnika tokenizatoraDostupno
  4. #12Tokenizator: kodiranje i dekodiranje teksta u ID-ove tokenaU pripremi
  5. #13Zašto broj tokena ovisi o jeziku: usporedba tokenizacije u LLM-uDostupno
  6. #14Posebni tokeni i predlošci razgovora: kako LLM čita razgovorU pripremi
  7. #15Što je kontekstni prozor? Koliko LLM može pročitati odjednomU pripremi
  8. #16Zašto LLM griješi u slovkanju i računanju: zamke tokenizacijeU pripremi

3. dioVektori i embeddinzi

  1. #17Što je vektor? Kako LLM prikazuje riječi brojevimaU pripremi
  2. #18Skalarni produkt i kosinusna sličnost: kako LLM mjeri sličnost značenjaU pripremi
  3. #19One-hot vektori i njihove granice: zašto LLM treba embeddingeU pripremi
  4. #20Što je embedding? Tablica ugrađivanja tokenaU pripremi
  5. #21Prostor embeddinga riječi: zašto su slične riječi blizuU pripremi
  6. #22Vektori riječi: kralj − muškarac + žena = kraljica (word2vec)U pripremi
  7. #23Što je matrica? Linearne transformacije u srcu LLM-aU pripremi
  8. #24Mnogo dimenzija: zašto embeddinzi LLM-a imaju stotine dimenzijaU pripremi
  9. #25Kako LLM zna redoslijed riječi? Problem pozicijeU pripremi

4. dioKako neuronske mreže uče

  1. #26Što je neuron? Težine i pomaci u neuronskoj mrežiU pripremi
  2. #27Aktivacijske funkcije (ReLU, GELU): nelinearnost u neuronskoj mrežiU pripremi
  3. #28Višeslojni perceptron (MLP): slaganje slojeva neuronske mrežeU pripremi
  4. #29Funkcija softmax: pretvaranje logita u vjerojatnostiU pripremi
  5. #30Funkcija gubitka i unakrsna entropija: mjerenje pogrešaka LLM-aU pripremi
  6. #31Što je gradijent? Smjer učenja neuronske mrežeU pripremi
  7. #32Gradijentni spust ručno: temeljni algoritam strojnog učenjaU pripremi
  8. #33Propagacija unatrag (backpropagation) 1. dio: lančano praviloU pripremi
  9. #34Propagacija unatrag (backpropagation) 2. dio: računski graf i autogradU pripremi
  10. #35Mini-serije i stopa učenja: veličina koraka u treniranju neuronske mrežeU pripremi
  11. #36Prenaučenost i generalizacija: kad model strojnog učenja uči napametU pripremi
  12. #37Gradimo neuronski jezični model: embeddinzi + MLP za sljedeći tokenU pripremi

5. dioPažnja

  1. #38Što je pažnja (attention)? Kako LLM čita kontekstU pripremi
  2. #39Query, Key, Value: tri uloge u mehanizmu pažnje (attention)U pripremi
  3. #40Pažnja ručno: Scaled Dot-Product Attention korak po korakU pripremi
  4. #41Skaliranje pažnje (attention): zašto dijelimo s √d prije softmaxaU pripremi
  5. #42Kauzalna maska: kako GPT ne gleda buduće tokeneU pripremi
  6. #43Samopažnja (self-attention) kao račun s matricama: srce transformeraU pripremi
  7. #44Višeglava pažnja (multi-head attention): kontekst iz više kutovaU pripremi
  8. #45Što gledaju glave pažnje? Vizualizacija pažnje u LLM-uU pripremi
  9. #46Pozicijsko kodiranje u transformeru: pozicija pomoću sinusa i kosinusaU pripremi
  10. #47RoPE (rotacijsko pozicijsko ugrađivanje): pozicija u modernim LLM-ovimaU pripremi
  11. #48Složenost pažnje (attention): zašto dug kontekst usporava LLMU pripremi
  12. #49Jezični model samo s pažnjom: jednoslojni transformerU pripremi

6. dioSlaganje transformera

  1. #50Rezidualne veze: zašto se duboki transformeri mogu treniratiU pripremi
  2. #51Normalizacija sloja (layer normalization): stabilan transformerU pripremi
  3. #52Feed-forward (MLP) sloj: druga polovica transformeraU pripremi
  4. #53Slažemo transformerski blok: pažnja + MLP + rezidualne vezeU pripremi
  5. #54Slaganje slojeva transformera: što dubina daje LLM-uU pripremi
  6. #55Rezidualni tok: kako informacija teče kroz transformerU pripremi
  7. #56Logiti i izlazni sloj (unembedding): od vektora natrag do tokenaU pripremi
  8. #57Brojimo parametre LLM-a: gdje su težine GPT-a?U pripremi
  9. #58Kako radi GPT od početka do kraja: od ulaza do sljedećeg tokenaU pripremi

7. dioTreniranje

  1. #59Podaci za treniranje LLM-a: samonadzirano učenje i sljedeći tokenU pripremi
  2. #60Kako čitati krivulju gubitka: dijagnoza treniranja LLM-aU pripremi
  3. #61Optimizatori u treniranju LLM-a: od SGD-a do Adama i AdamW-aU pripremi
  4. #62Raspored stope učenja i zagrijavanje (warmup) u treniranju LLM-aU pripremi
  5. #63Inicijalizacija težina: nestajući i eksplodirajući gradijenti u mrežiU pripremi
  6. #64Dropout i weight decay: regularizacija neuronskih mrežaU pripremi
  7. #65Treniraj mini GPT u pregledniku: transformer od nuleU pripremi
  8. #66Što LLM uči tijekom treniranja? Faze učenjaU pripremi
  9. #67Zakoni skaliranja: zašto su veći LLM-ovi pametnijiU pripremi
  10. #68Perpleksnost (perplexity): mjera kvalitete jezičnog modelaU pripremi

8. dioGeneriranje

  1. #69Pohlepno dekodiranje (greedy): najjednostavnije generiranje u LLM-uU pripremi
  2. #70Što je temperatura? Upravljanje nasumičnošću LLM-aU pripremi
  3. #71Top-k i top-p (nucleus) uzorkovanje u LLM-uU pripremi
  4. #72Repetition penalty: kako spriječiti da se LLM ponavljaU pripremi
  5. #73Beam search: generiranje teksta u LLM-u koje gleda unaprijedU pripremi
  6. #74KV cache: kako se ubrzava inferencija LLM-aU pripremi
  7. #75EOS token i max tokens: kada LLM prestaje generirati?U pripremi
  8. #76Strukturirani izlaz i JSON način: ograničavanje izlaza LLM-a gramatikomU pripremi

9. dioOd prediktora do asistenta

  1. #77Što je predtreniranje (pre-training)? Kako nastaje temeljni model LLM-aU pripremi
  2. #78Što je fino podešavanje (fine-tuning)? Dodatno učenje LLM-aU pripremi
  3. #79Instruction tuning: kako LLM postaje chat-asistentU pripremi
  4. #80RLHF: učenje potkrepljenjem iz ljudskih ocjena i usklađivanje LLM-aU pripremi
  5. #81Što je LoRA? Fino podešavanje LLM-a s malo parametaraU pripremi
  6. #82Sistemski prompt i učenje u kontekstu (in-context learning) u LLM-uU pripremi
  7. #83Few-shot promptovi: zašto prompt engineering djelujeU pripremi
  8. #84Chain of thought i modeli rasuđivanja: LLM koji razmišlja prije odgovoraU pripremi

10. dioPogled iznutra

  1. #85Logit lens: čitanje srednjih slojeva LLM-a (interpretabilnost)U pripremi
  2. #86Može li se vjerovati mapama pažnje? Interpretabilnost LLM-aU pripremi
  3. #87Superpozicija i značajke u LLM-u: uvod u rijetke autoenkodereU pripremi
  4. #88Sklopovi u LLM-u: praćenje računa mehanističkom interpretabilnošćuU pripremi
  5. #89Zašto LLM halucinira? Objašnjenje iz samog mehanizmaU pripremi
  6. #90Pamćenje i generalizacija u LLM-u: grokkingU pripremi

11. dioUčinkovito i praktično

  1. #91Što je kvantizacija? Manji i brži LLMU pripremi
  2. #92Destilacija znanja: kako nastaju mali jezični modeli (SLM)U pripremi
  3. #93Lokalni LLM na CPU-u: kako rade llama.cpp i GGUFU pripremi
  4. #94Kako radi RAG: generiranje prošireno pretraživanjem za LLMU pripremi
  5. #95AI agenti i alati: kako radi function calling u LLM-uU pripremi
  6. #96Multimodalni LLM: slike i zvuk kao tokeniU pripremi
  7. #97Dugi kontekst: kako LLM obrađuje vrlo duge ulazeU pripremi

12. dioZavršnica

  1. #98Evaluacija i benchmarkovi LLM-a: kako mjeriti i čitati rezultateU pripremi
  2. #99Ograničenja LLM-a i sigurnost umjetne inteligencijeU pripremi
  3. #100GPT od nule, finale: svaki korak LLM-a vlastitim rukamaU pripremi