Što je kontekstni prozor? Koliko LLM može pročitati odjednom
Model vidi samo tokene unutar prozora. Promijeni veličinu prozora i gledaj kako se dugi tekstovi i razgovori prelijevaju.
- POINT 1Kontekstni prozor je najviše tokena koje model može pročitati odjednom. U njega idu i niz koji uneseš i odgovor koji model piše.
- POINT 2Gemma 3 napravljena je za najviše 131.072 tokena. Pravu veličinu prozora biraš kad pokrećeš model. Što je prozor dulji, to dulje traje čitanje.
- POINT 3Stari tokeni koji se preliju iz prozora bacaju se. Ono što je izvan prozora, model ne vidi.
TRY 1
Kad je prozor pun, staje
Zamolili smo model za dugu priču. Promijeni veličinu prozora i pogledaj gdje staje. Veličinu možeš i upisati.
Zahtjev: „Napiši dugu priču o mačku.”
20zahtjev
0priča
256prozor
Napisano 0 tokena. U prozoru je ostalo još 236 tokena.
Priča je stvarna: Gemma 3 4B (Q4_K_M, llama.cpp), uvijek bira najvjerojatniji token, u prozoru od 2.048 (ukupno 1465 tokena). Dok se prozor ne napuni, ništa se ne baca, pa je do te točke tekst isti u prozoru bilo koje veličine.
TRY 2
Piše dalje i baca najstarije tokene
Isti zahtjev u prozoru od 256, s uključenim context shiftom u llama.cpp. Svaki put kad je prozor pun, zadrži samo <bos>, baci najstariju polovicu i nastavi.
133u prozoru
127bačeno
1bacanja
Tekst koji je sad u prozoru
Tekst bačen iz prozora
Bacanja: 1. Tokena izvan prozora: 127. „mačka” više nije u prozoru.
700 stvarnih tokena modela Gemma 3 4B (Q4_K_M, llama.cpp), napisanih s llama-server -c 256 --context-shift. Gdje je bacao tokene, računa se istim pravilom kao u zapisniku poslužitelja (n_keep = 1, n_discard = 127).
TRY 3
Pamti li ime mačke?
Razgovor koji počinje imenom mačke. Odaberi veličinu prozora, a stranica, kao aplikacija, baca najstarije poruke dok niz ne stane uz 32 tokena za odgovor. Odgovor je stvarni odgovor modela na taj niz.
- userMoja mačka zove se Mrvica. Zapamti to, molim te.
- modelRazumijem! Mrvica je tvoja mačka. Zapisano! 😊
- userPreporuči mi jednu knjigu, u jednoj rečenici.
- modelPreporučujem "Hobit" J.R.R. Tolkiena - to je čarobna priča o djetetu koje se uputilo u veliko putovanje i suočilo se s neprocjenjivim zlom.
- userKoja je najviša planina u Hrvatskoj? Odgovori jednom rečenicom.
- modelNajviša planina u Hrvatskoj je Dinara, s najvišim vrhom Sljepcem koji dostiže 1.831 metar nad morskom razinom.
- userDaj mi ideju za brzi doručak, u jednoj rečenici.
- modelPripremi brzi doručak od tost s avokadom, jajetom i narezkom rajčice za zdrav i ukusan početak dana.
- userKako mogu provesti kišni dan? Jednom rečenicom, molim.
- modelProvedi kišni dan čitajući omiljenu knjigu uz šalicu toplog čaja i možda malo igranja igrica ili gledanja filma.
- userKako se zove moja mačka?
4bačene poruke
211tokena u nizu
32za odgovor
Bačenih starih poruka: 4. Poruka s imenom mačke je izvan prozora.
Odgovori su stvarni izlazi modela Gemma 3 4B (Q4_K_M, llama.cpp). Cijeli razgovor ima 337 tokena. Poslan takav kakav jest poslužitelju s prozorom od 256, bio je odbijen: request (337 tokens) exceeds the available context size (256 tokens), try increasing it
TRY 4
Koliko ove serije stane?
Naraciju epizoda 1 do 14 izrezali smo na tokene. Odaberi veličinu prozora i jezik i pogledaj koliko epizoda stane.
1epizoda stane
1.994iskorišteno tokena
28.173svih 14 epizoda
Stane samo 1. epizoda. Epizoda 2 prelijeva se iz prozora.
Skripta svake epizode izrezana tokenizatorom modela Gemma 3 4B (Q4_K_M, llama.cpp). 131.072 (131.072) je granica za koju je Gemma 3 napravljena.
CHECK
Brza provjera
Provjeri što si naučio kroz tri pitanja.
Q1U čemu se mjeri veličina kontekstnog prozora?
Q2Ulazi li odgovor modela u prozor?
Q3Zašto u dugom razgovoru nije znao ono što si mu rekao na početku?
NEXT #16
Zašto LLM griješi u slovkanju i računanju: zamke tokenizacije
Sljedeće: zamke tokenizacije. Zašto LLM griješi kad broji slova ili računa s mnogo znamenki.
Priče, odgovori i brojevi tokena na ovoj stranici jednom su uzeti iz modela Gemma 3 4B (Q4_K_M, llama.cpp) (granica modela Gemma 3: 131.072 tokena; prozor poslužitelja ove serije: 2.048 tokena; mali pokusni poslužitelj: 256 tokena). Prozor se računa u tvom pregledniku. Ništa se ne šalje na poslužitelj.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…