osFoundry / Platform
Rate-Limiting für öffentliche Apps
Anpassbare Rate-Limits pro IP und pro Token für öffentliche Apps. Standardeinstellungen, die den Hug-of-Death bewältigen.
Was es ist
Das Rate-Limiting für öffentliche Apps in osFoundry setzt eine konfigurierbare Drossel vor jede App, die du öffentlich bereitstellst. Die Limits legst du auf zwei Wegen fest, die zusammenwirken: pro IP begrenzt, wie viele Anfragen eine einzelne Client-Adresse in einem Zeitfenster stellen darf, und pro Token begrenzt die Nutzung, die an ein bestimmtes Access-Token oder einen API-Key gebunden ist. Das Limit pro IP dämpft eine Flut aus einer einzigen Quelle; das Limit pro Token verhindert, dass eine geteilte oder geleakte Anmeldeinformation dein Kontingent aufbraucht. Weil osFoundry nach dem Bring-your-own-Key-Prinzip arbeitet, gehen die Anfragen, die deine öffentliche App an Modelle verteilt, letztlich auf Keys, die dir gehören. Ein unbegrenzter Endpunkt ist damit nicht nur ein Last-, sondern auch ein Abrechnungsproblem. Rate-Limits sind die Grenze, die verhindert, dass ein Spike zur bösen Überraschung auf deiner Provider-Rechnung wird.
Innerhalb von osFoundry lebt das in der Ebene Apps & Backend, neben allem anderen, was zum Verpacken und Veröffentlichen einer App gehört. Sobald du eine App öffentlich machst, sind die Limits bereits aktiv, mit Voreinstellungen, die gewählt wurden, um den Ansturm zu überstehen: den Moment, in dem ein Link weit geteilt wird und Traffic schneller eintrifft, als du geplant hast. Statt umzufallen oder einen Key zu leeren, werden überzählige Anfragen am Rand abgewiesen, damit legitimer Traffic weiter fließt. Von da an ist jedes Limit einstellbar: Heb die Obergrenze für eine App an, die stark frequentiert sein wird, zieh sie bei etwas Experimentellem enger, oder setze Limits pro Token je Anmeldeinformation, damit verschiedene Konsumenten unterschiedliche Budgets bekommen.
Das ist wichtig, weil eine öffentliche KI-App eine Kostenfläche hat, die die meisten statischen Seiten nicht haben. Eine einzige geteilte URL, ein Scraper oder ein außer Kontrolle geratener Client kann in Minuten Tausende Modellaufrufe erzeugen. Limits pro IP und pro Token geben dir einen vorhersehbaren schlimmsten Fall: Du entscheidest, wie viel Ausgaben und Last deine App höchstens verursachen darf, bevor sie anfängt, Nein zu sagen. Kombiniert mit dem Local-First-Ansatz von osFoundry ohne Reseller-Aufschlag behältst du deine Keys, deine Daten und nun auch die Angriffsfläche der Endpunkte, hinter denen diese Keys sitzen.
Wichtige Funktionen
- Setze Anfrage-Limits pro IP, um zu begrenzen, wie stark eine einzelne Client-Adresse eine öffentliche App in einem Zeitfenster treffen kann
- Setze Limits pro Token, damit ein bestimmtes Access-Token oder ein API-Key ein eigenes Nutzungsbudget bekommt, unabhängig von der Quell-IP
- Kommt mit Voreinstellungen, die auf das Abfangen des Ansturms abgestimmt sind, also eines plötzlichen Spikes durch einen geteilten Link, ganz ohne manuelle Einrichtung
- Weist überzählige Anfragen am Rand ab, damit eine Flut nicht die BYOK-Provider-Keys leert, gegen die deine App abrechnet
- Reguliere jede Obergrenze nach oben oder unten, pro App und pro Anmeldeinformation, sobald der reale Traffic der App klarer wird
Anwendungsfälle
- Indie-Entwickler: teilt einen öffentlichen Demo-Link, der unerwartet viral geht, und verlässt sich auf die voreingestellten Limits, damit er online bleibt, statt über Nacht einen API-Key zu verbrennen
- Team-Lead: gibt Partnern separate Access-Tokens aus und setzt für jedes ein Budget pro Token, damit eine Integration die anderen nicht aushungert
- ops-orientierter Entwickler: zieht die Limits pro IP an einem experimentellen Endpunkt enger, um Kosten und Last im schlimmsten Fall zu begrenzen, bevor er ihn in die Produktion überführt
Häufig gestellte Fragen
Was ist der Unterschied zwischen Rate-Limits pro IP und pro Token?
Pro IP begrenzt Anfragen einer einzelnen Client-Adresse und stoppt so eine Flut aus einer einzigen Quelle. Pro Token begrenzt die Nutzung, die an ein bestimmtes Access-Token oder einen API-Key gebunden ist, egal von wo aufgerufen, und dämmt so eine geteilte oder geleakte Anmeldeinformation ein. Du kannst beides gleichzeitig nutzen: pro IP für anonymen öffentlichen Traffic, pro Token, um benannten Konsumenten eigene Budgets zu geben.
Was passiert, wenn meine öffentliche App plötzlich viel Traffic bekommt?
Öffentliche Apps kommen mit voreingestellten Limits, die für den Ansturm gewählt wurden: einen Link, der weit stärker geteilt wird als erwartet. Anfragen über dem Limit werden abgewiesen statt durchgereicht, sodass ein Spike weder den Provider-Key leeren kann, gegen den deine App abrechnet, noch die App umwirft. Für Apps, die stark frequentiert sein werden, kannst du die Limits anheben.
Muss ich Rate-Limits einrichten, bevor ich eine App öffentlich mache?
Nein. Beim Veröffentlichen einer App sind bereits sinnvolle Voreinstellungen aktiv, du bist also ohne jede Einrichtung geschützt. Alles ist einstellbar, wann immer du willst: die Obergrenze pro IP anheben oder senken oder Limits pro Token je Anmeldeinformation setzen. Doch die sichere Grundlinie ist von Anfang an aktiv.