osFoundry / Platform
Rate limiting aplikasi publik
Batas rate per-IP dan per-token yang dapat disesuaikan pada aplikasi publik. Default yang menangani lonjakan trafik.
Apa itu
Rate limiting aplikasi publik di osFoundry menempatkan pengatur laju yang bisa dikonfigurasi di depan aplikasi apa pun yang Anda sajikan secara publik. Batas ditetapkan lewat dua cara yang saling melengkapi: per-IP, yang membatasi berapa banyak permintaan yang bisa dikirim satu alamat klien dalam satu jendela waktu, dan per-token, yang membatasi penggunaan yang terikat pada token akses atau API key tertentu. Batas per-IP menumpulkan banjir permintaan dari satu sumber; batas per-token mencegah kredensial yang dibagikan atau bocor menguras kuota Anda. Karena osFoundry memakai kunci milik Anda sendiri (BYOK), permintaan yang disebar aplikasi publik Anda ke model pada akhirnya membebani key yang Anda miliki, sehingga endpoint tanpa batas bukan sekadar masalah beban, tetapi juga masalah tagihan. Rate limit adalah batas yang menahan lonjakan agar tidak berubah menjadi kejutan pada tagihan penyedia Anda.
Di dalam osFoundry, fitur ini berada di lapisan Apps & Backend, bersama cara-cara lain untuk mengemas dan memublikasikan sebuah aplikasi. Saat Anda memublikasikan aplikasi, batas sudah aktif dengan nilai bawaan yang dipilih untuk bertahan dari serbuan trafik, yaitu saat sebuah tautan tersebar luas dan trafik datang lebih cepat dari yang Anda rencanakan. Alih-alih tumbang atau menguras key, permintaan berlebih ditolak di tepi (edge) sehingga trafik yang sah tetap mengalir. Dari situ setiap batas bisa disetel: naikkan plafon untuk aplikasi yang Anda perkirakan ramai, perketat untuk sesuatu yang eksperimental, atau tetapkan batas per-token pada tiap kredensial agar konsumen yang berbeda mendapat anggaran yang berbeda.
Ini penting karena aplikasi AI publik punya permukaan biaya yang tak dimiliki sebagian besar situs statis. Satu URL yang dibagikan, satu scraper, atau satu klien yang lepas kendali bisa menghasilkan ribuan panggilan model dalam hitungan menit. Batas per-IP dan per-token memberi Anda skenario terburuk yang bisa diprediksi: Anda yang menentukan pengeluaran dan beban maksimum yang boleh ditanggung aplikasi sebelum ia mulai menolak permintaan. Dipadukan dengan model osFoundry yang local-first dan tanpa markup penjual ulang, key Anda, data Anda, dan kini juga paparan endpoint tempat key itu bernaung tetap berada di tangan Anda.
Kemampuan utama
- Tetapkan batas permintaan per-IP untuk membatasi seberapa sering satu alamat klien bisa mengetuk aplikasi publik dalam jendela waktu tertentu
- Tetapkan batas per-token agar token akses atau API key tertentu punya anggaran penggunaan sendiri, terlepas dari IP asalnya
- Hadir dengan nilai bawaan yang disetel untuk meredam serbuan trafik, yaitu lonjakan mendadak dari tautan yang dibagikan, tanpa pengaturan manual
- Menolak permintaan berlebih di tepi agar banjir trafik tak menguras key penyedia BYOK yang menjadi sumber biaya aplikasi Anda
- Setel tiap plafon naik atau turun, per aplikasi dan per kredensial, seiring trafik nyata aplikasi mulai terlihat
Kasus penggunaan
- Pengembang indie: membagikan tautan demo publik yang tanpa disangka viral dan mengandalkan batas bawaan untuk menjaganya tetap hidup, alih-alih menghabiskan API key dalam semalam
- Pemimpin tim: menerbitkan token akses terpisah untuk para mitra dan menetapkan anggaran per-token pada masing-masing agar satu integrasi tak menelan jatah yang lain
- Pengembang berpikiran ops: memperketat batas per-IP pada endpoint eksperimental untuk membatasi biaya dan beban skenario terburuk sebelum menaikkannya ke produksi
Pertanyaan yang sering diajukan
Apa beda rate limit per-IP dan per-token?
Per-IP membatasi permintaan dari satu alamat klien, yang menghentikan banjir dari satu sumber. Per-token membatasi penggunaan yang terikat pada token akses atau API key tertentu, dari mana pun ia dipanggil, yang membendung kredensial yang dibagikan atau bocor. Anda bisa memakai keduanya sekaligus: per-IP untuk trafik publik anonim, per-token untuk memberi konsumen bernama anggarannya sendiri.
Apa yang terjadi saat aplikasi publik saya tiba-tiba dibanjiri trafik?
Aplikasi publik hadir dengan batas bawaan yang dipilih untuk menangani serbuan trafik, yaitu tautan yang tersebar jauh lebih luas dari perkiraan. Permintaan di atas batas ditolak, bukan diteruskan, sehingga lonjakan tak bisa menguras key penyedia yang menjadi sumber biaya aplikasi Anda ataupun menumbangkan aplikasi. Anda bisa menaikkan batas untuk aplikasi yang Anda perkirakan ramai.
Apakah saya harus mengatur rate limit sebelum memublikasikan aplikasi?
Tidak. Nilai bawaan yang masuk akal sudah aktif begitu Anda memublikasikan aplikasi, jadi Anda terlindungi tanpa pengaturan apa pun. Semuanya bisa disetel kapan pun Anda mau, naikkan atau turunkan plafon per-IP, atau tetapkan batas per-token pada tiap kredensial, tetapi baris dasar yang aman aktif sejak awal.