什么是分词（Tokenization）？

分词将原始文本切分为 LLM 实际处理的子词单元（token）。不同模型使用不同的分词器；同一段文本在不同模型下计为的 token 数量可能不同。

详细说明

多数现代 LLM 使用字节对编码（BPE）或类似方案——常见字符序列成为单个 token，罕见序列成为多个 token。英文平均约 4 个字符 / token；中日韩语言平均更接近 1。

分词会影响计费（按 token 计费）和上下文窗口占用。代码通常比散文分词更高效。特殊字符和 emoji 可能会占用很多 token。