Home / Glossario / Tokenizzazione
Che cos’è Tokenization (tokenizzazione)?
La tokenizzazione divide il testo grezzo nelle unità sub-parola (token) che gli LLM effettivamente processano. Modelli diversi usano tokenizzatori diversi; lo stesso testo conta come un numero diverso di token a seconda del modello.
Dettagli
La maggior parte degli LLM moderni usa byte-pair encoding (BPE) o simili: sequenze di caratteri frequenti diventano singoli token, quelle rare diventano multi-token. L'inglese fa una media di ~4 caratteri per token; le lingue CJK si avvicinano a 1.
La tokenizzazione influisce sui prezzi (fatturazione per token) e sull'uso della context window. Il codice è di solito tokenizzato in modo più efficiente della prosa. Caratteri speciali ed emoji possono richiedere molti token.
Termini correlati