Home / Glossary / Tokenization
Tokenization क्या है?
Tokenization raw text को sub-word units (tokens) में split करता है जिन्हें LLMs वास्तव में process करते हैं। अलग-अलग models अलग-अलग tokenisers का उपयोग करते हैं; वही text model के आधार पर tokens की एक अलग संख्या के रूप में count होता है।
विवरण
अधिकांश आधुनिक LLMs byte-pair encoding (BPE) या इसी तरह का उपयोग करते हैं — frequent character sequences single tokens बन जाते हैं, rare वाले multi-token बनते हैं। English औसतन प्रति token ~4 characters; CJK languages औसतन 1 के करीब होती हैं।
Tokenisation pricing (per-token billing) और context-window usage को affect करती है। Code आमतौर पर prose की तुलना में अधिक efficiently tokenised होता है। Special characters और emojis कई tokens ले सकते हैं।
संबंधित शब्द