ホーム / 用語集 / トークナイゼーション

トークナイゼーションとは？

トークナイゼーションは、生のテキストをLLMが実際に処理するサブワード単位(トークン)に分割する処理です。モデルごとに異なるトークナイザーを使うため、同じテキストでもモデルによってトークン数は変わります。

詳しく

最新のLLMの多くはバイトペアエンコーディング(BPE)などを使います。頻出する文字列は1つのトークンに、稀な文字列は複数のトークンに分かれます。英語では平均で1トークンあたり約4文字、CJK言語では約1文字に近くなります。

トークナイゼーションは料金(トークン単位の課金)とコンテキストウィンドウの使用量に影響します。コードは散文より効率的にトークン化されることが一般的です。特殊文字や絵文字は多くのトークンを消費する場合があります。