Inicio / Glosario / Tokenización
¿Qué es Tokenización?
La tokenización divide texto crudo en las subunidades de palabra (tokens) que los LLMs realmente procesan. Distintos modelos usan distintos tokenizadores; el mismo texto cuenta como un número distinto de tokens según el modelo.
Detalles
La mayoría de los LLMs modernos usan codificación por pares de bytes (BPE) o similar: las secuencias de caracteres frecuentes se convierten en un solo token, las raras se vuelven multi-token. El inglés promedia ~4 caracteres por token; las lenguas CJK se acercan más a 1.
La tokenización afecta al precio (facturación por token) y al uso de la ventana de contexto. El código suele tokenizarse de forma más eficiente que la prosa. Los caracteres especiales y los emojis pueden ocupar muchos tokens.
Términos relacionados