人在回路：为业务流程中的 AI 代理设计人工审批

当企业开始让 AI 代理处理真实任务，例如回复客户、起草订单、核对发票或修改系统数据时，很快出现的问题不再是 AI 能不能做，而是它可以自主行动到什么程度。太宽松，一个错误就可能删除数据、向客户发送错误的消息，或批准本不该批准的付款。太严格，每一步都要等人，自动化就失去了价值。

人在回路（Human-in-the-loop，HITL）是设计人类审查、批准或纠正 AI 工作的节点的做法。它不只是末尾的一个批准按钮，而是一种设计：决定何时需要人介入、展示什么信息才能让决策又快又准，以及如何利用人的纠正来改进系统。本文介绍如何设定自主程度、设计审批界面、管理审查队列，以及衡量人工控制是否真正有效。

摘要

• 自主程度最好按操作类型根据风险和可撤销性设定，而不是对整个代理采用单一设置
• 不可撤销或涉及财务、法律和声誉影响的操作应经人工批准
• 审批界面必须展示上下文、理由和来源，让审查者能快速决策
• 不阅读就批准不是控制；要衡量审查质量，而不只是数量
• 人的纠正是改进提示词、规则和评估的宝贵数据

为什么 HITL 很重要

现代 AI 能力很强，但并不完美。它可能误读文件、编造不存在的细节、遵循所处理文本中的隐藏指令，或选择在语言上说得通却不符合业务的操作。这些风险在运营中的 AI 风险和AI 应用安全：提示注入与数据泄露中有进一步讨论。

人工控制在三方面有帮助：

• **防止损失。**高风险错误在产生影响之前被拦截。
• **建立信任。**当团队在早期掌握控制权时，更愿意采用自动化。
• **产生学习数据。**每一次纠正都显示 AI 的薄弱之处以及如何修正。

设定自主程度

并非所有操作都一样。一种实用的方法：从两个维度给每个操作评级，即错误的影响有多大，以及撤销有多容易。

第 1 级：全自动

低风险且易于撤销的操作，例如工单分类、文件打标签或起草内部摘要。AI 执行，结果被记录，并通过定期抽样检查质量。

第 2 级：自动执行并通知、可撤销

AI 执行，人类收到通知并可在一定时间内撤销。适合影响中等且可逆的操作，如重新安排预约或更新联系人数据。

第 3 级：AI 提议，人类批准

AI 准备草稿，例如客户回复、采购订单或会计凭证，由人类在执行前审查。这是对外部对象或影响财务的操作最常见的模式。

第 4 级：人类决策，AI 辅助

对于高风险决策，例如大额授信批准、批量价格变更或法律行动，AI 仅提供分析和选项，决策和执行由人类完成。

随着绩效证据积累，级别可以提高。先保守起步，当数据显示错误率可接受后再放宽。更广泛的治理框架见企业 AI 使用政策与 AI 治理。

几乎总是需要批准的操作

• 向客户、供应商或公众发送消息或邮件
• 付款、转账、退款和银行账户变更
• 批量删除或修改数据
• 价格、折扣或合同条款的变更
• 授予或撤销访问权限
• 影响员工的操作，如人事决定
• 难以恢复的生产环境操作

作为对照，传统的审批流程见采购审批流程。原则相同：金额门槛和操作类型决定谁必须批准。

设计有效的审批界面

只有当审查者真正理解自己批准的是什么时，批准才有用。糟糕的界面会让人条件反射般地点击批准。

展示足够的上下文

包含原始请求、来源数据、拟执行的操作及其影响。审查者不应需要打开另外五个标签页才能理解上下文。

展示理由和来源

说明 AI 为什么提出该操作，以及依据哪些文件或数据。来源引用使快速核实更容易，就像基于企业知识库的 RAG AI 聊天机器人那样。

标注置信度和异常

当出现不寻常情况时，例如金额远高于平均水平或出现新供应商，显示置信度或警告标记。把审查者的注意力引向风险最大的地方。

允许纠正，而不仅仅是批准或拒绝

审查者应能编辑草稿、给出拒绝理由，或在提示下让 AI 重试。结构化的纠正会成为学习数据。

小操作容易，大操作要慎重

对低风险事项的批量批准可加快工作，而高风险操作应要求明确确认或双人批准。

管理审查队列

当 AI 每天产生数百个事项时，审查队列可能成为新的瓶颈。

• **优先级。**按风险和截止时间排序，而不仅仅是到达时间
• **分配。**把事项分派给有权限且有能力的人，并在有人缺席时有后备
• **超时。**明确无人响应时会发生什么：升级处理，而不是对有风险的操作自动执行
• **工作量。**监控队列的数量和时长；队列不断增长是自主级别或 AI 质量需要复审的信号
• **抽样。**对全自动操作，定期审查随机样本以发现质量漂移

衡量人工控制的有效性

只是走形式的控制会带来虚假的安全感。应衡量：

• **无修改批准率。**如果近 100% 在几秒内被批准，审查者可能没有阅读，或者 AI 确实非常出色；通过抽样审计来调查
• **纠正和拒绝率。**下降趋势表明 AI 在改进
• **审查时间。**太快或太慢都是信号
• **漏网错误。**批准之后被发现有误的事件
• **周期时间。**带 HITL 的自动化是否仍比手工流程更快

输出质量的评估方法在业务应用的 AI 与 LLM 输出质量评估中讨论。

审计轨迹与问责

每个 AI 操作和人的决定都应被记录：提议了什么、审查者看到了什么、谁批准、何时批准以及结果如何。这一轨迹对事件调查、审计和改进至关重要。该原则与ERP 系统中的审计轨迹与内部控制相同。还应明确，最终责任仍由批准的人或职能承担，而不是 AI。

常见的实施模式

文件处理

AI 从发票或合同中提取数据，只有低置信度或大额事项才会送给审查者。更多内容见文件数据录入自动化。

客户服务

AI 起草回复，人工客服对投诉、退款或法律威胁等敏感案例进行批准，而常规问题自动回答。语音渠道请参见用于客户服务的 AI 语音代理。

财务与采购

AI 核对发票、订单和收货单，只有不一致之处才需要人工决定。这与ERP 中的应付账款自动化与三单匹配一致。

运营与系统集成

调用工具和 API 的代理需要清晰的权限边界；参见模型上下文协议（MCP）和用于业务流程自动化的 AI 代理。选择合适的方法也在RPA、API 还是 AI 代理中讨论。

示例：AI 起草采购订单

设想一个监控库存、然后向供应商起草采购订单的代理。对于金额低于较小限额、且来自长期合作供应商的常规物品，草稿可以直接发送，人类只收到通知。对于超过某一金额、来自新供应商，或价格明显偏离历史的订单，草稿进入审批队列。审查者可以看到价格历史、当前库存、AI 提出该数量的理由以及备选供应商。如果审查者修改了数量，修改理由会被记录，并用于下一次完善规则。

几个月后，纠正的模式通常会暴露出具体的薄弱点，例如 AI 总是低估季节性高峰。修复这一点会减少纠正，自动发送的金额限额也可以依据数据而非信念逐步提高。同样的模式适用于客户回复、排程和发票匹配。

常见错误

• 只在末尾放置批准，导致审查者缺乏上下文
• 要求每个操作都批准，导致队列堵塞、团队抵触系统
• 让超时自动批准有风险的操作
• 不记录人的纠正，导致 AI 永远不会改进
• 在没有衡量的情况下假定人工批准自动有效
• 在没有优先级的情况下让一个人审查过多事项
• 没有把代理权限限制在所需范围内

常见问题

HITL 会让自动化变慢吗？

设计得当就不会。对低风险任务全自动，仅对有风险或低置信度的案例审查，通常仍比手工流程快得多。

什么时候可以提高自主级别？

当有足够的数据（例如几周或数百个案例）显示错误率可接受，并且有出问题时撤销或恢复的机制之后。

谁应该担任审查者？

理解业务流程并对该决定有权限的人，而不只是碰巧有空的人。为他们提供关于 AI 典型错误类型的培训。

法规要求人工监督吗？

取决于行业和决策类型。对于对个人有重大影响的决定，许多治理框架建议有人工监督。请就你的情况咨询法律顾问。

结论

人在回路并不意味着 AI 还没准备好，而是构建可信自动化的方式。按操作类型设定自主级别，设计提供上下文的审批界面，管理队列以免成为瓶颈，并衡量人工控制是否真正起作用。随着纠正持续反馈到系统中，AI 的自主空间可以逐步、安全地扩大。