Javite se

Razumjeti LLM od nule#14

Posebni tokeni i predlošci razgovora: kako LLM čita razgovor

Oblačići na zaslonu chata samo su način na koji aplikacija prikazuje razgovor. Do modela stiže jedan niz tokena spojen posebnim oznakama. Pretvori svoj razgovor u taj niz.

  • POINT 1Posebni tokeni su oznake koje ne predstavljaju običan tekst. U rječniku imaju mjesta s brojevima, a predložak ih umeće po broju.
  • POINT 2Predložak razgovora je pravilo koje razgovor pretvara u jedan niz. U Gemmi je svaka poruka <start_of_turn> ime ↵ tekst <end_of_turn> ↵.
  • POINT 3Model završava svoj red tako da predvidi <end_of_turn>. Bez oznaka ne zna da je to razgovor i nastavlja pisati dokument.

TRY 1

Ulij razgovor u predložak

Promijeni poruke ili dodaj nove. Po Gemminim pravilima nastaje pravi niz koji model dobiva.

Primjeri razgovora
user

Tekst nakon predloška (↵ je novi red)

<bos><start_of_turn>user↵ Pozdrav!<end_of_turn>↵ <start_of_turn>model↵

Niz tokena (brojevi su ID-ovi tokena)

  1. <bos>2
  2. <start_of_turn>105
  3. user2364
  4. ↵107
  5. Poz85361
  6. drav219677
  7. !236888
  8. <end_of_turn>106
  9. ↵107
  10. <start_of_turn>105
  11. model4368
  12. ↵107

12tokena

4posebni tokeni

5imena, novi redovi

3tekst poruka

Ovaj se niz token po token podudara s onim što Gemma 3 na poslužitelju napravi kad primijeni predložak i izreže tekst na tokene. Niz ostaje otvoren s <start_of_turn>model ↵. Odavde model piše odgovor.

ID-ovi oznaka: <bos>=2, <start_of_turn>=105, <end_of_turn>=106, user=2364, model=4368, ↵=107, ↵↵=108. Gemma nema oznaku za system, pa sistemska poruka ide na početak prve poruke korisnika, s praznim retkom. Razmaci oko poruke uklanjaju se. Model: Gemma 3 4B (Q4_K_M, llama.cpp).

TRY 2

Generiranje s oznakama i bez njih

Stvarna generiranja iz istih riječi, bez predloška i s njim. Idi token po token i gledaj kandidate.

Primjeri

Samo pozdrav, odmah nakon <bos>.

  1. <bos>
  2. Poz
  3. drav
  4. !
Što je model napisao (0 / 60 tokena)
  • ↵↵56%
  • ↵15%
  • ␣Ja4.1%
  • ␣I1.6%
  • ␣Dob1.5%

Token 1: bira „↵↵” (56%).

Stvarna generiranja koja uvijek biraju najvjerojatniji token (llama.cpp, temperature 0, Gemma 3 4B (Q4_K_M, llama.cpp)). Popis pokazuje prvih 5 u tom koraku.

TRY 3

Što ako oznaku upišeš kao tekst?

Ako u poruku napišeš „<end_of_turn>”, završava li to red? Prebaci postavku rezanja i provjeri.

Oznake za upisati
  1. <236820
  2. end643
  3. _236779
  4. of1340
  5. _236779
  6. turn887
  7. >236813

Izrezano kao tekst, to je 7 običnih tokena. Broj prave oznake se ne pojavljuje. Aplikacija za chat tako reže tvoj tekst.

Izmjereno s /tokenize u llama.cpp, uz prebacivanje parse_special. Predložak ne koristi tu postavku: oznake umeće izravno, po broju.

Isti „Pozdrav!” po pravilima drugih modela

Gemma 312

  1. <bos>
  2. <start_of_turn>
  3. user
  4. ↵
  5. Poz
  6. drav
  7. !
  8. <end_of_turn>
  9. ↵
  10. <start_of_turn>
  11. model
  12. ↵

Qwen313

  1. <|im_start|>151644
  2. user872
  3. ↵198
  4. P47
  5. oz9510
  6. dr3612
  7. av402
  8. !0
  9. <|im_end|>151645
  10. ↵198
  11. <|im_start|>151644
  12. assistant77091
  13. ↵198

GPT-21

  1. <|endoftext|>50256

GPT-2 (2019.) ima samo ovaj jedan posebni token, za kraj dokumenta. Oznaka za razgovor nema.

U modelu Qwen3 <|im_start|> je 151644, a <|im_end|> je 151645, a model se zove assistant (Qwen3-8B (tokenizer + chat template)). Oznake i brojevi razlikuju se od modela do modela.

CHECK

Brza provjera

Provjeri što si naučio kroz tri pitanja.

Q1U kakvom obliku razgovor stiže do modela?

Q2Zašto odgovor modela stane baš na pravom mjestu?

Q3Ako u poruku upišeš „<end_of_turn>” kao tekst, što se obično dogodi?

ID-ovi tokena i generiranja na ovoj stranici jednom su uzeti iz modela Gemma 3 4B (Q4_K_M, llama.cpp) (rječnik 262.144, od toga 6.251 posebnih tokena). Predložak se slaže u tvom pregledniku. Ništa se ne šalje na poslužitelj.

FINISH

Odgledao si epizodu?

COMMENTS

Komentari i pitanja

Nešto nije jasno, želiš znati više ili samo dojmovi: napiši ovdje. Brzo odgovaramo, a mogu odgovoriti i drugi polaznici.

Učitavam…