osFoundry / Platform
公开应用限流
对公开应用按 IP 与按 token 可调的限流。默认值即可应对突发流量。
简介
osFoundry 的公开应用限流会在你对外发布的每个应用前面放置一个可配置的节流阀。限制通过两种协同工作的方式设定：按 IP，限制单个客户端地址在一个时间窗口内能发起多少请求；按令牌，限制与某个特定访问令牌或 API 密钥绑定的用量。按 IP 的限制能削弱来自单一来源的洪流；按令牌的限制则防止被共享或泄露的凭据把你的配额一并卷走。由于 osFoundry 采用自带密钥（BYOK）模式，你的公开应用分发给模型的请求，最终都记在你自己拥有的密钥上，因此一个不设上限的端点不只是负载问题，更是账单问题。限流正是那道边界，挡住流量高峰变成供应商账单上的意外。
在 osFoundry 内部，这一能力位于 Apps & Backend 层，与打包和对外暴露应用的其余机制并列。当你把应用设为公开时，限制就已启用，其默认值经过挑选，足以扛住“访问洪峰”，也就是链接被大范围转发、流量来得比你预想更快的那一刻。多余的请求不会让应用崩溃或耗尽密钥，而是在边缘就被挡回，让正当流量继续通行。在此之上每一项限制都可调：对预计繁忙的应用调高上限，对实验性的东西收紧，或为每个凭据设置按令牌限制，让不同的使用方获得不同的额度。
这之所以重要，是因为公开的 AI 应用有着多数静态站点所没有的成本面。一个被转发的 URL、一个爬虫，或一个失控的客户端，都能在几分钟内产生数千次模型调用。按 IP 和按令牌的限制给了你一个可预测的最坏情形：你来决定应用在开始拒绝请求之前，最多可以承担多少花费与负载。再结合 osFoundry 本地优先、无转售加价的模式，你的密钥、你的数据，以及如今那些密钥所在端点的暴露面，都仍握在你自己手中。
主要功能
- 设置按 IP 的请求限制，约束任何单个客户端地址在给定窗口内对公开应用的访问量
- 设置按令牌的限制，让某个特定访问令牌或 API 密钥拥有独立于来源 IP 的专属用量额度
- 开箱即带经过调校的默认值，无需手动配置即可吸收“访问洪峰”，也就是共享链接带来的突发流量高峰
- 在边缘挡回多余请求，让洪流无法耗尽你的应用赖以计费的 BYOK 供应商密钥
- 随着应用真实流量逐渐清晰，按应用、按凭据将每一项上限自由调高或调低
使用场景
- 独立开发者：分享的公开演示链接意外走红，靠默认限制让它撑住，而不是一夜之间烧光一把 API 密钥
- 团队负责人：为各合作方签发独立的访问令牌，并为每个令牌设置额度，让某一个集成不会把其他集成挤到没有余量
- 偏运维的开发者：在实验性端点上收紧按 IP 的限制，先框住最坏情形下的成本与负载，再将其推向生产环境
常见问题
按 IP 限流和按令牌限流有什么区别？
按 IP 限制来自单个客户端地址的请求，能拦下来自单一来源的洪流。按令牌限制与某个特定访问令牌或 API 密钥绑定的用量，无论从何处调用，能圈住被共享或泄露的凭据。两者可以同时使用：按 IP 应对匿名的公开流量，按令牌为具名的使用方各自划定额度。
如果我的公开应用突然涌入大量流量会怎样？
公开应用自带的默认限制专为应对“访问洪峰”而设，也就是链接被转发得远超预期的情形。超出限制的请求会被挡回而非放行，因此流量高峰既无法耗尽你的应用赖以计费的供应商密钥，也无法把应用压垮。对预计繁忙的应用，你可以调高限制。
把应用设为公开之前，我必须先配置限流吗？
不必。把应用设为公开时，合理的默认值就已生效，你无需任何配置即受保护。想调整时一切皆可：调高或调低按 IP 的上限，或为每个凭据设置按令牌的限制，但安全的基线从一开始就已开启。