Posebni tokeni i predlošci razgovora: kako LLM čita razgovor
Oblačići na zaslonu chata samo su način na koji aplikacija prikazuje razgovor. Do modela stiže jedan niz tokena spojen posebnim oznakama. Pretvori svoj razgovor u taj niz.
- POINT 1Posebni tokeni su oznake koje ne predstavljaju običan tekst. U rječniku imaju mjesta s brojevima, a predložak ih umeće po broju.
- POINT 2Predložak razgovora je pravilo koje razgovor pretvara u jedan niz. U Gemmi je svaka poruka <start_of_turn> ime ↵ tekst <end_of_turn> ↵.
- POINT 3Model završava svoj red tako da predvidi <end_of_turn>. Bez oznaka ne zna da je to razgovor i nastavlja pisati dokument.
TRY 1
Ulij razgovor u predložak
Promijeni poruke ili dodaj nove. Po Gemminim pravilima nastaje pravi niz koji model dobiva.
Tekst nakon predloška (↵ je novi red)
Niz tokena (brojevi su ID-ovi tokena)
- <bos>2
- <start_of_turn>105
- user2364
- ↵107
- Poz85361
- drav219677
- !236888
- <end_of_turn>106
- ↵107
- <start_of_turn>105
- model4368
- ↵107
12tokena
4posebni tokeni
5imena, novi redovi
3tekst poruka
Ovaj se niz token po token podudara s onim što Gemma 3 na poslužitelju napravi kad primijeni predložak i izreže tekst na tokene. Niz ostaje otvoren s <start_of_turn>model ↵. Odavde model piše odgovor.
ID-ovi oznaka: <bos>=2, <start_of_turn>=105, <end_of_turn>=106, user=2364, model=4368, ↵=107, ↵↵=108. Gemma nema oznaku za system, pa sistemska poruka ide na početak prve poruke korisnika, s praznim retkom. Razmaci oko poruke uklanjaju se. Model: Gemma 3 4B (Q4_K_M, llama.cpp).
TRY 2
Generiranje s oznakama i bez njih
Stvarna generiranja iz istih riječi, bez predloška i s njim. Idi token po token i gledaj kandidate.
Samo pozdrav, odmah nakon <bos>.
- <bos>
- Poz
- drav
- !
- ↵↵56%
- ↵15%
- ␣Ja4.1%
- ␣I1.6%
- ␣Dob1.5%
Token 1: bira „↵↵” (56%).
Stvarna generiranja koja uvijek biraju najvjerojatniji token (llama.cpp, temperature 0, Gemma 3 4B (Q4_K_M, llama.cpp)). Popis pokazuje prvih 5 u tom koraku.
TRY 3
Što ako oznaku upišeš kao tekst?
Ako u poruku napišeš „<end_of_turn>”, završava li to red? Prebaci postavku rezanja i provjeri.
- <236820
- end643
- _236779
- of1340
- _236779
- turn887
- >236813
Izrezano kao tekst, to je 7 običnih tokena. Broj prave oznake se ne pojavljuje. Aplikacija za chat tako reže tvoj tekst.
Izmjereno s /tokenize u llama.cpp, uz prebacivanje parse_special. Predložak ne koristi tu postavku: oznake umeće izravno, po broju.
Isti „Pozdrav!” po pravilima drugih modela
Gemma 312
- <bos>
- <start_of_turn>
- user
- ↵
- Poz
- drav
- !
- <end_of_turn>
- ↵
- <start_of_turn>
- model
- ↵
Qwen313
- <|im_start|>151644
- user872
- ↵198
- P47
- oz9510
- dr3612
- av402
- !0
- <|im_end|>151645
- ↵198
- <|im_start|>151644
- assistant77091
- ↵198
GPT-21
- <|endoftext|>50256
GPT-2 (2019.) ima samo ovaj jedan posebni token, za kraj dokumenta. Oznaka za razgovor nema.
U modelu Qwen3 <|im_start|> je 151644, a <|im_end|> je 151645, a model se zove assistant (Qwen3-8B (tokenizer + chat template)). Oznake i brojevi razlikuju se od modela do modela.
CHECK
Brza provjera
Provjeri što si naučio kroz tri pitanja.
Q1U kakvom obliku razgovor stiže do modela?
Q2Zašto odgovor modela stane baš na pravom mjestu?
Q3Ako u poruku upišeš „<end_of_turn>” kao tekst, što se obično dogodi?
NEXT #15
Što je kontekstni prozor? Koliko LLM može pročitati odjednom
Sljedeće: kontekstni prozor. Niz razgovora raste zajedno s oznakama, ali model može odjednom pročitati samo toliko.
ID-ovi tokena i generiranja na ovoj stranici jednom su uzeti iz modela Gemma 3 4B (Q4_K_M, llama.cpp) (rječnik 262.144, od toga 6.251 posebnih tokena). Predložak se slaže u tvom pregledniku. Ništa se ne šalje na poslužitelj.
FINISH
COMMENTS
Komentari i pitanja
Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.
Učitavam…