osFoundry / Platform
Рейт-лимитинг публичных приложений
Настраиваемые рейт-лимиты на IP и на токен для публичных приложений. Дефолты, выдерживающие наплыв трафика.
Что это
Ограничение частоты запросов для публичных приложений в osFoundry ставит настраиваемый дроссель перед любым приложением, которое вы публикуете. Лимиты задаются двумя способами, работающими вместе: по IP, что ограничивает, сколько запросов один адрес клиента может сделать за окно времени, и по токену, что ограничивает потребление, привязанное к конкретному токену доступа или ключу API. Лимит по IP притупляет поток из одного источника; лимит по токену не даёт общей или утёкшей учётной записи проглотить вашу квоту. Поскольку osFoundry работает по принципу собственных ключей (BYOK), запросы, которые ваше публичное приложение рассылает моделям, в итоге тратятся на принадлежащих вам ключах, так что эндпойнт без ограничений — это не только проблема нагрузки, но и проблема счёта. Лимиты запросов — та граница, что не даёт всплеску превратиться в сюрприз в счёте вашего провайдера.
Внутри osFoundry это живёт на уровне Apps & Backend, рядом со всем остальным, что упаковывает и открывает приложение наружу. Когда вы делаете приложение публичным, лимиты уже включены со значениями по умолчанию, выбранными так, чтобы пережить наплыв — тот момент, когда ссылка широко расходится и трафик приходит быстрее, чем вы планировали. Вместо того чтобы рухнуть или осушить ключ, избыточные запросы отклоняются на краю, чтобы законный трафик продолжал идти. Дальше каждый лимит настраивается: поднимите потолок для приложения, которое ожидаете загруженным, ужмите его для чего-то экспериментального или задайте лимиты по токену для каждой учётной записи, чтобы разные потребители получали разные бюджеты.
Это важно, потому что у публичного ИИ-приложения есть поверхность затрат, которой нет у большинства статических сайтов. Одна расшаренная ссылка, скрапер или сорвавшийся с цепи клиент способны за минуты породить тысячи вызовов модели. Лимиты по IP и по токену дают вам предсказуемый худший случай: вы сами решаете, какие максимальные траты и нагрузку приложение вправе понести, прежде чем начнёт отвечать отказом. В сочетании с моделью osFoundry — локальной в первую очередь и без реселлерской наценки — у вас остаются ваши ключи, ваши данные, а теперь и контроль над тем, насколько открыты эндпойнты, за которыми эти ключи стоят.
Ключевые возможности
- Задайте лимиты запросов по IP, чтобы ограничить, насколько сильно один адрес клиента может нагружать публичное приложение за заданное окно
- Задайте лимиты по токену, чтобы у конкретного токена доступа или ключа API был свой бюджет потребления, независимо от IP-источника
- Поставляется со значениями по умолчанию, настроенными гасить наплыв — внезапный всплеск от расшаренной ссылки — без ручной настройки
- Отклоняет избыточные запросы на краю, чтобы поток не осушил BYOK-ключи провайдера, на которых тратится ваше приложение
- Регулируйте каждый потолок вверх или вниз — по приложению и по учётной записи — по мере того как проясняется реальный трафик приложения
Сценарии использования
- Инди-разработчик: делится публичной демо-ссылкой, которая неожиданно становится вирусной, и полагается на лимиты по умолчанию, чтобы удержать её на плаву, а не сжечь ключ API за одну ночь
- Тимлид: выдаёт партнёрам отдельные токены доступа и задаёт для каждого бюджет по токену, чтобы одна интеграция не обделяла остальные
- Разработчик с уклоном в эксплуатацию: ужимает лимиты по IP на экспериментальном эндпойнте, чтобы ограничить затраты и нагрузку худшего случая, прежде чем выводить его в продакшн
Часто задаваемые вопросы
В чём разница между лимитами по IP и по токену?
Лимит по IP ограничивает запросы одного адреса клиента, останавливая поток из единственного источника. Лимит по токену ограничивает потребление, привязанное к конкретному токену доступа или ключу API, откуда бы его ни вызывали, сдерживая общую или утёкшую учётную запись. Можно применять оба сразу: по IP — для анонимного публичного трафика, по токену — чтобы дать именованным потребителям собственные бюджеты.
Что произойдёт, если на моё публичное приложение внезапно хлынет трафик?
Публичные приложения поставляются с лимитами по умолчанию, выбранными под наплыв — ссылку, разошедшуюся куда шире, чем ожидалось. Запросы сверх лимита отклоняются, а не пропускаются, поэтому всплеск не осушит ключ провайдера, на котором тратится приложение, и не повалит само приложение. Для приложений, которые вы ожидаете загруженными, лимиты можно поднять.
Нужно ли настраивать лимиты запросов до того, как сделать приложение публичным?
Нет. Разумные значения по умолчанию уже действуют в момент публикации приложения, так что вы защищены без всякой настройки. Всё настраивается, когда захотите: поднять или опустить потолок по IP или задать лимиты по токену для каждой учётной записи, но безопасная базовая линия включена с самого начала.