토큰화 (Tokenization)란?

토큰화는 원시 텍스트를 LLM이 실제로 처리하는 하위 단어 단위(토큰)로 분할합니다. 모델마다 다른 토크나이저를 사용하며, 동일한 텍스트도 모델에 따라 다른 수의 토큰으로 계산됩니다.

자세히

대부분의 현대 LLM은 바이트 페어 인코딩(BPE) 또는 이와 유사한 방식을 사용합니다 — 빈번한 문자 시퀀스는 단일 토큰이 되고, 드문 것은 여러 토큰이 됩니다. 영어는 토큰당 평균 약 4자이며, CJK 언어는 1자에 가깝습니다.

토큰화는 가격(토큰당 청구)과 컨텍스트 윈도우 사용량에 영향을 미칩니다. 코드는 일반적으로 산문보다 효율적으로 토큰화됩니다. 특수 문자와 이모지는 많은 토큰을 차지할 수 있습니다.