Startseite / Glossar / Tokenisierung

Was ist Tokenization?

Tokenisierung zerlegt Rohtext in die Sub-Wort-Einheiten (Tokens), die LLMs tatsächlich verarbeiten. Verschiedene Modelle verwenden verschiedene Tokenizer; derselbe Text zählt je nach Modell als unterschiedlich viele Tokens.

Details

Die meisten modernen LLMs verwenden Byte-Pair Encoding (BPE) oder ähnliches — häufige Zeichenfolgen werden zu einzelnen Tokens, seltene zu Multi-Token-Folgen. Englisch hat im Schnitt ~4 Zeichen pro Token; CJK-Sprachen liegen näher bei 1.

Die Tokenisierung beeinflusst die Preisgestaltung (Pro-Token-Abrechnung) und die Nutzung des Kontextfensters. Code wird in der Regel effizienter tokenisiert als Prosa. Sonderzeichen und Emojis können viele Tokens belegen.