osFoundry / Platform
Rate limiting per app pubbliche
Rate limit per IP e per token regolabili sulle app pubbliche. Default che reggono l'effetto Slashdot.
Che cos’è
Il rate limiting per app pubbliche di osFoundry mette una strozzatura configurabile davanti a qualsiasi app che pubblichi. I limiti si impostano in due modi che lavorano insieme: per IP, che stabilisce quante richieste può fare un singolo indirizzo client in una finestra temporale, e per token, che stabilisce l'uso legato a uno specifico token di accesso o chiave API. Il limite per IP smorza un'ondata proveniente da un'unica fonte; il limite per token impedisce che una credenziale condivisa o trafugata si porti via la tua quota. Poiché osFoundry funziona con le tue chiavi (BYOK), le richieste che la tua app pubblica distribuisce ai modelli finiscono per spendere sulle chiavi che possiedi: un endpoint senza limiti non è solo un problema di carico, è anche un problema di fatturazione. I limiti di frequenza sono il confine che impedisce a un picco di trasformarsi in una sorpresa sulla bolletta del tuo provider.
Dentro osFoundry questo vive nel livello Apps & Backend, accanto a tutto il resto di come impacchetti ed esponi un'app. Quando rendi pubblica un'app, i limiti sono già attivi con valori predefiniti scelti per sopravvivere all'assalto improvviso, quel momento in cui un link viene condiviso ovunque e il traffico arriva più veloce di quanto avessi previsto. Invece di crollare o prosciugare una chiave, le richieste in eccesso vengono respinte al margine così che il traffico legittimo continui a scorrere. Da lì ogni limite è regolabile: alza il tetto per un'app che prevedi affollata, stringilo su qualcosa di sperimentale, oppure imposta limiti per token per ciascuna credenziale così che consumatori diversi ricevano budget diversi.
Questo conta perché un'app di IA pubblica ha una superficie di costo che la maggior parte dei siti statici non ha. Un solo URL condiviso, uno scraper o un client fuori controllo possono generare migliaia di chiamate al modello in pochi minuti. I limiti per IP e per token ti danno un caso peggiore prevedibile: decidi tu la spesa e il carico massimi che la tua app può sostenere prima di iniziare a dire di no. Uniti al modello local-first di osFoundry senza ricarico da rivenditore, tieni le tue chiavi, i tuoi dati e ora anche l'esposizione degli endpoint dietro cui quelle chiavi si trovano.
Funzionalità principali
- Imposta limiti di richiesta per IP per stabilire quanto un singolo indirizzo client può colpire un'app pubblica in una data finestra
- Imposta limiti per token così che uno specifico token di accesso o chiave API abbia il proprio budget d'uso, indipendente dall'IP di origine
- Arriva con valori predefiniti calibrati per assorbire l'assalto improvviso, un picco di traffico da link condiviso, senza alcuna configurazione manuale
- Respinge al margine le richieste in eccesso così che un'ondata non prosciughi le chiavi BYOK del provider su cui la tua app spende
- Regola ogni tetto verso l'alto o il basso, per app e per credenziale, man mano che il traffico reale dell'app diventa chiaro
Casi d’uso
- Sviluppatore indipendente: condivide un link demo pubblico che diventa virale senza preavviso e si affida ai limiti predefiniti per tenerlo in piedi anziché bruciare una chiave API in una notte
- Team lead: emette token di accesso separati per i partner e imposta un budget per token su ciascuno, così che un'integrazione non affami le altre
- Sviluppatore orientato alle ops: stringe i limiti per IP su un endpoint sperimentale per delimitare costo e carico nel caso peggiore prima di promuoverlo in produzione
Domande frequenti
Qual è la differenza tra limiti di frequenza per IP e per token?
Per IP limita le richieste di un singolo indirizzo client, fermando un'ondata proveniente da un'unica fonte. Per token limita l'uso legato a uno specifico token di accesso o chiave API, ovunque venga chiamata, contenendo una credenziale condivisa o trafugata. Puoi usare entrambi insieme: per IP per il traffico pubblico anonimo, per token per dare a consumatori identificati un budget proprio.
Cosa succede se la mia app pubblica riceve all'improvviso molto traffico?
Le app pubbliche arrivano con limiti predefiniti scelti per gestire l'assalto improvviso, un link condiviso ben oltre le attese. Le richieste oltre il limite vengono respinte anziché passate, così un picco non può prosciugare la chiave del provider su cui la tua app spende né buttarla giù. Puoi alzare i limiti per le app che prevedi affollate.
Devo configurare i limiti di frequenza prima di rendere pubblica un'app?
No. Valori predefiniti sensati sono già in vigore quando rendi pubblica un'app, quindi sei protetto senza alcuna configurazione. Tutto è regolabile quando vuoi: alza o abbassa il tetto per IP, o imposta limiti per token per ciascuna credenziale, ma la base sicura è attiva fin dall'inizio.