Главная / Глоссарий / Токенизация

Что такое Токенизация (Tokenization)?

Токенизация разбивает сырой текст на подсловные единицы (токены), которые на самом деле обрабатывают LLM. Разные модели используют разные токенизаторы; один и тот же текст считается как разное число токенов в зависимости от модели.

Подробнее

Большинство современных LLM используют байт-парное кодирование (BPE) или подобное — частые последовательности символов становятся одиночными токенами, редкие — мультитокенами. Английский язык в среднем ~4 символа на токен; CJK-языки в среднем ближе к 1.

Токенизация влияет на тарификацию (оплата за токен) и использование окна контекста. Код обычно токенизируется эффективнее, чем проза. Специальные символы и эмодзи могут занимать много токенов.