Beranda / Glosarium / Context window
Apa itu Context Window?
Context window adalah jumlah maksimum token yang dapat diproses LLM dalam satu request (input + output digabungkan). Model modern berkisar dari 4 K hingga 2 M token. Katalog osFoundry mencantumkan context window untuk setiap model.
Detail
Token adalah unit sub-kata; rata-rata ~3-4 karakter teks Bahasa Inggris per token. Context window 128 K menampung kira-kira 100.000 kata. Window mencakup system prompt, riwayat percakapan, konteks yang diambil, DAN balasan yang dihasilkan model — setiap bagian dihitung terhadap batas.
Window yang lebih besar memungkinkan Anda menjejalkan lebih banyak konteks tetapi biaya per request lebih banyak dan memiliki pengembalian yang menurun — kualitas sering menurun setelah 50-100 K. Strategi seperti RAG mengambil hanya chunk yang relevan alih-alih menjejalkan semuanya.
Cara osFoundry menangani Context Window
Pipeline knowledge base + RAG osFoundry mengambil hanya chunk relevan untuk setiap query, menjaga context window tetap fokus. Anda juga dapat memilih model dengan window yang lebih besar dari katalog jika Anda membutuhkannya.
Pertanyaan yang sering diajukan
How many characters fit in a 128 K context window?
Roughly 100,000 English words, or about 100,000 Japanese characters — tokenizer-dependent. Languages with lower tokenizer efficiency consume the window faster for the same content.
What happens when I exceed the context window?
The overflow is truncated, or the tool silently summarizes/drops older history. Whether you get an error or silent loss depends on the implementation — missing middle topics in long-meeting summaries is the classic symptom.
Is a bigger context window always better?
A larger cap is more flexible, but long inputs cost more, respond slower, and are prone to lost-in-the-middle recall gaps. Retrieving only the relevant chunks (chunking/RAG) is often more reliable than stuffing everything in.
Istilah terkait
Fitur terkait