← Resources
By Mei Chen
— Product Engineer, Workflow Automation
·
· USECASE
面向客户支持的 AI 智能体:私有化、有据可依的方案
现代 AI 支持智能体将针对帮助文档的 RAG、用于执行实际操作的范围受限工具,以及人工升级三者结合起来。本指南涵盖真实的转接解决率、为何接地至关重要、促使企业自托管的客户 PII 隐私问题,以及保障安全的护栏。
AI 支持智能体的实际工作方式
现代支持智能体由三个协同运作的部分组成:针对帮助文档和知识库的 RAG,对真实系统的工具或操作调用(查询订单、发起退款、重置密码),以及在置信度低或风险高时升级至人工。RAG 层在查询时检索相关内容,使答案立足于你的真实文档,而非模型的记忆。
这正是它与旧式聊天机器人的区别:它不是把关键词匹配到预设回复,而是检索证据、对其进行推理、必要时采取操作,并知道何时该把对话移交出去。
真实的转接解决率
对那些醒目的数字保持怀疑。行业解决率通常在初次部署时为 40–60%,并在 6–12 个月内攀升至 60% 以上;表现最佳者可达到 80% 甚至更高。但供应商公布的数据差异极大,且往往是自报数据——针对一级转接的独立企业中位数约为 40%,前四分之一者接近 59%。
最大的隐藏变量是查询类型。退款和密码重置类意图的转接率可达 70% 以上;而复杂或情绪化的投诉很少能突破 25%。一个笼统的「转接率」会掩盖这种差异,因此应根据你实际的工单结构来评判智能体的表现,而不是看营销宣传中的平均值。
接地(以及经过验证的引用)为何重要
把答案接地于检索到的文档,正是让智能体从凭空生成转向有据引用的关键,多个团队反映,一旦回答与真实文档挂钩,错误答案便明显减少。但这里有一个微妙的陷阱:带引用的错误答案比单纯的错误答案更糟糕,因为引用会降低用户的警惕。「形似引用的幻觉」——看似自信、实则并不支持该论断的引用——是真实存在的。
由此得出的教训是:接地必须经过验证,而不能想当然。要测试所引来源是否真正支持答案,并优先选择那种让智能体只能基于检索到的证据作答、而非自由发挥的架构。
促使企业自托管的 PII 问题
客户支持对隐私格外敏感,因为每一次对话都可能包含个人数据。当智能体调用托管的 LLM 时,该查询会经过提供商的基础设施,可能被记录或留存,这意味着你正在与一个处理方共享客户数据,并需要与每家供应商签订数据处理协议——而责任仍由你承担。风险还会层层叠加:一个平台会继承其技术栈中每一个 LLM 提供商、云供应商和集成方的数据处理方式。
这正是受监管行业——金融、医疗、保险、法律、政府——倾向于采用自托管或私有智能体的原因,因为这样能把对话数据保留在自己可控的基础设施之内。有关涉及的具体管控措施,请参阅我们的 [GDPR 合规 AI 指南](/articles/gdpr-compliant-ai-guide)。
护栏:工具范围与人工接管
最重要的护栏有两个。第一是工具范围:给智能体一份明确列出它可执行哪些操作的白名单,理想情况下为每个工具配备独立凭据,以便在出现安全问题时将影响范围控制住,同时把确定性工作流与开放式推理分开建模。能读取订单状态的智能体,和能发起退款的智能体截然不同——应据此设定范围。
人工接管是最重要的安全机制。当智能体触及自身能力的边界时,向人工的移交应当带上完整的对话记录、客户来访的原因、智能体尝试过的操作、尚未解决的问题,以及相关上下文——这样客户就无需重复陈述。要根据具体情形调整移交方式:简单情况采用结构化的冷转接,而随着复杂度、情绪或风险上升,则采用附带情况说明的热转接。
在 osFoundry 上构建支持智能体
在 osFoundry 上,支持智能体由你掌控的各项基本组件搭建而成:一个由帮助文档知识库接地的智能体配置(提示词、模型、工具范围),连接到你真实系统的连接器(CRM、工单、订单与退款操作),明确的工具范围白名单,以及在置信度低时的人工接管。由于整个技术栈都可自托管,客户 PII 和对话记录会留在你自己的基础设施之内,而不会经过第三方 SaaS 供应商——这直接回应了推动私有化部署的数据处理与留存方面的顾虑。BYOK 意味着由你来选择模型(包括本地或私有模型),并将接地、引用和审计日志都置于你的治理之下。这正是最佳实践文献所推荐的「接地 RAG + 范围受限工具 + 人工升级」模式——从设计之初就是私有的,而非事后添加。
Frequently asked questions
- 面向客户支持的 AI 智能体是什么?它与聊天机器人有何不同?
- AI 支持智能体会从你的帮助文档中检索相关内容(RAG),对其进行推理,能够通过范围受限的工具执行实际操作,并在需要时升级至人工。传统聊天机器人只是把关键词匹配到预设回复。智能体的答案立足于你的真实文档,能够端到端地解决问题,而不仅仅是分流对话。
- 自托管的 AI 支持智能体实际能达到多高的转接解决率?
- 通常上线时为 40–60%,在 6–12 个月内攀升至 60% 以上,表现最佳者可达 80% 以上。但这在很大程度上取决于查询类型——退款、密码重置等简单意图的转接率可达 70% 以上,而复杂或情绪化的问题则很少超过 25%。请根据你实际的工单结构来评判,而不是看笼统的营销平均值。
- RAG 如何防止智能体给出错误答案?
- RAG 在查询时从你的帮助文档中检索相关段落,并将答案接地于这些段落,因此模型引用的是真实证据,而非依赖记忆——这能显著减少错误答案。需要注意的是,接地必须经过验证:一条看似自信、实则并不支持该论断的引用,比一个显而易见的错误更糟糕,所以务必测试引用是否站得住脚。
- 使用 AI 支持智能体时,我客户的 PII 会被发送给 OpenAI 或 Anthropic 吗?
- 如果是托管 LLM 的智能体,会的——客户的查询会经过提供商的基础设施,可能被记录或留存,从而使提供商成为你需要与之签约的数据处理方,而责任仍由你承担。把私有模型自托管或采用 BYOK,则能把这些数据保留在你可控的基础设施之内,这正是受监管行业更青睐的做法。
- 我能否自托管 AI 客户支持智能体,让数据永不离开我的基础设施?
- 可以。借助可自托管的平台,模型、知识库和对话记录全部运行在你可控的基础设施上,因此客户数据不会经过第三方 SaaS 技术栈。再结合本地或私有模型的 BYOK,整个支持闭环——检索、推理和日志记录——都会保持在你的治理范围之内。
- 智能体如何判断何时该升级至人工?
- 你可以配置升级触发条件——模型置信度低、高风险操作、检测到用户的不满情绪,或用户的明确请求。移交时应带上完整的对话记录、来访原因、智能体尝试过的操作,以及尚未解决的问题,以便人工能在掌握完整上下文的情况下接手。人工接管被普遍认为是支持智能体最重要的护栏。
- 我该如何限制智能体可以执行的操作?
- 使用工具范围:用一份白名单明确列出智能体可以执行哪些操作,理想情况下为每个工具配备独立凭据,以便某个工具出问题时把影响控制住。把读取操作(订单状态)与写入操作(发起退款)分开,并把确定性工作流与开放式推理分开建模,这样智能体就无法执行未经授权的敏感操作。
Sources