Javite se

Razumjeti LLM od nule#15

Što je kontekstni prozor? Koliko LLM može pročitati odjednom

Model vidi samo tokene unutar prozora. Promijeni veličinu prozora i gledaj kako se dugi tekstovi i razgovori prelijevaju.

  • POINT 1Kontekstni prozor je najviše tokena koje model može pročitati odjednom. U njega idu i niz koji uneseš i odgovor koji model piše.
  • POINT 2Gemma 3 napravljena je za najviše 131.072 tokena. Pravu veličinu prozora biraš kad pokrećeš model. Što je prozor dulji, to dulje traje čitanje.
  • POINT 3Stari tokeni koji se preliju iz prozora bacaju se. Ono što je izvan prozora, model ne vidi.

TRY 1

Kad je prozor pun, staje

Zamolili smo model za dugu priču. Promijeni veličinu prozora i pogledaj gdje staje. Veličinu možeš i upisati.

Zahtjev: „Napiši dugu priču o mačku.”

256

20zahtjev

0priča

256prozor

Napisano 0 tokena. U prozoru je ostalo još 236 tokena.

Priča je stvarna: Gemma 3 4B (Q4_K_M, llama.cpp), uvijek bira najvjerojatniji token, u prozoru od 2.048 (ukupno 1465 tokena). Dok se prozor ne napuni, ništa se ne baca, pa je do te točke tekst isti u prozoru bilo koje veličine.

TRY 2

Piše dalje i baca najstarije tokene

Isti zahtjev u prozoru od 256, s uključenim context shiftom u llama.cpp. Svaki put kad je prozor pun, zadrži samo <bos>, baci najstariju polovicu i nastavi.

240

133u prozoru

127bačeno

1bacanja

Tekst koji je sad u prozoru

čka s dušom koja je bila dublja od mora. Luna je bila vlasnik starog knjižara, gospodina Elija, čovjeka s očima poput starog papirusa i dušom punom riječi. Elijah je pronašao Luninu leglu u kutu njegove knjižare, malenog, iznemoglog mačića, prekrivenog prašinom i s očima punim tjeskobe. Od tog trenutka su bili nerazdvojni. Elijah je čitao svoje knjige, a Luna je, s mirnom elegancijom, spavala na njihov

Tekst bačen iz prozora

<start_of_turn>user Napiši dugu priču o mačku.<end_of_turn> <start_of_turn>model U srcu starogradskog grada, u zgradežnoj kući s balkonom koji se pružao prema starom trgu, živjela je mačka po imenu Luna. Nije bila obična mačka. Nije bila poznata po svojoj ljepoti, iako je imala mekana, plavo-smeđa krzna, niti po svojoj grlišanosti, iako je obožavala da se grli. Luna je bila mačka s pričama, mačka s tajnama, ma

Bacanja: 1. Tokena izvan prozora: 127. „mačka” više nije u prozoru.

700 stvarnih tokena modela Gemma 3 4B (Q4_K_M, llama.cpp), napisanih s llama-server -c 256 --context-shift. Gdje je bacao tokene, računa se istim pravilom kao u zapisniku poslužitelja (n_keep = 1, n_discard = 127).

TRY 3

Pamti li ime mačke?

Razgovor koji počinje imenom mačke. Odaberi veličinu prozora, a stranica, kao aplikacija, baca najstarije poruke dok niz ne stane uz 32 tokena za odgovor. Odgovor je stvarni odgovor modela na taj niz.

256
  1. userMoja mačka zove se Mrvica. Zapamti to, molim te.
  2. modelRazumijem! Mrvica je tvoja mačka. Zapisano! 😊
  3. userPreporuči mi jednu knjigu, u jednoj rečenici.
  4. modelPreporučujem "Hobit" J.R.R. Tolkiena - to je čarobna priča o djetetu koje se uputilo u veliko putovanje i suočilo se s neprocjenjivim zlom.
  5. userKoja je najviša planina u Hrvatskoj? Odgovori jednom rečenicom.
  6. modelNajviša planina u Hrvatskoj je Dinara, s najvišim vrhom Sljepcem koji dostiže 1.831 metar nad morskom razinom.
  7. userDaj mi ideju za brzi doručak, u jednoj rečenici.
  8. modelPripremi brzi doručak od tost s avokadom, jajetom i narezkom rajčice za zdrav i ukusan početak dana.
  9. userKako mogu provesti kišni dan? Jednom rečenicom, molim.
  10. modelProvedi kišni dan čitajući omiljenu knjigu uz šalicu toplog čaja i možda malo igranja igrica ili gledanja filma.
  11. userKako se zove moja mačka?

4bačene poruke

211tokena u nizu

32za odgovor

Odgovor modela nakon čitanja 211 tokenaNe znam kako se zove tvoja mačka, jer sam ti samo veliki jezični model. Trebaš mi reći! 😊

Bačenih starih poruka: 4. Poruka s imenom mačke je izvan prozora.

Odgovori su stvarni izlazi modela Gemma 3 4B (Q4_K_M, llama.cpp). Cijeli razgovor ima 337 tokena. Poslan takav kakav jest poslužitelju s prozorom od 256, bio je odbijen: request (337 tokens) exceeds the available context size (256 tokens), try increasing it

TRY 4

Koliko ove serije stane?

Naraciju epizoda 1 do 14 izrezali smo na tokene. Odaberi veličinu prozora i jezik i pogledaj koliko epizoda stane.

Jezik
Veličina prozora

1epizoda stane

1.994iskorišteno tokena

28.173svih 14 epizoda

Stane samo 1. epizoda. Epizoda 2 prelijeva se iz prozora.

Skripta svake epizode izrezana tokenizatorom modela Gemma 3 4B (Q4_K_M, llama.cpp). 131.072 (131.072) je granica za koju je Gemma 3 napravljena.

CHECK

Brza provjera

Provjeri što si naučio kroz tri pitanja.

Q1U čemu se mjeri veličina kontekstnog prozora?

Q2Ulazi li odgovor modela u prozor?

Q3Zašto u dugom razgovoru nije znao ono što si mu rekao na početku?

Priče, odgovori i brojevi tokena na ovoj stranici jednom su uzeti iz modela Gemma 3 4B (Q4_K_M, llama.cpp) (granica modela Gemma 3: 131.072 tokena; prozor poslužitelja ove serije: 2.048 tokena; mali pokusni poslužitelj: 256 tokena). Prozor se računa u tvom pregledniku. Ništa se ne šalje na poslužitelj.

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…