Accueil / Glossaire / Tokenisation
Qu’est-ce que Tokenisation ?
La tokenisation divise le texte brut en unités sous-lexicales (tokens) que les LLM traitent réellement. Différents modèles utilisent différents tokeniseurs ; le même texte compte un nombre différent de tokens selon le modèle.
Détails
La plupart des LLM modernes utilisent le byte-pair encoding (BPE) ou similaire — les séquences de caractères fréquentes deviennent des tokens uniques, les rares deviennent multi-tokens. L’anglais compte en moyenne ~4 caractères par token ; les langues CJK sont plus proches de 1.
La tokenisation affecte la tarification (facturation au token) et l’utilisation de la fenêtre de contexte. Le code est généralement tokenisé plus efficacement que la prose. Les caractères spéciaux et les emojis peuvent prendre de nombreux tokens.
Termes associés