Início / Glossário / Tokenização
O que é Tokenização?
A tokenização divide o texto bruto nas unidades sub-palavra (tokens) que os LLMs realmente processam. Modelos diferentes usam tokenizadores diferentes; o mesmo texto conta como um número diferente de tokens dependendo do modelo.
Detalhes
A maioria dos LLMs modernos usa byte-pair encoding (BPE) ou similar — sequências frequentes de caracteres tornam-se tokens únicos, raras tornam-se multi-token. O inglês tem média de ~4 caracteres por token; idiomas CJK têm média mais próxima de 1.
A tokenização afeta os preços (cobrança por token) e o uso da janela de contexto. Código geralmente é tokenizado de forma mais eficiente do que prosa. Caracteres especiais e emojis podem consumir muitos tokens.
Termos relacionados