Beranda / Glosarium / Tokenisasi
Apa itu Tokenization?
Tokenization (tokenisasi) memecah teks mentah menjadi unit sub-kata (token) yang sebenarnya diproses LLM. Model berbeda menggunakan tokenizer berbeda; teks yang sama dihitung sebagai jumlah token berbeda tergantung modelnya.
Detail
Sebagian besar LLM modern menggunakan byte-pair encoding (BPE) atau yang serupa — urutan karakter yang sering menjadi token tunggal, yang jarang menjadi multi-token. Bahasa Inggris rata-rata ~4 karakter per token; bahasa CJK rata-rata mendekati 1.
Tokenisasi mempengaruhi harga (penagihan per-token) dan penggunaan context window. Kode biasanya ditokenisasi lebih efisien daripada prosa. Karakter khusus dan emoji dapat memakan banyak token.
Istilah terkait