# 人在回路：为业务流程中的 AI 代理设计人工审批

> 如何决定 AI 代理可以多大程度自主行动：按操作类型的自主级别、审批界面、审查队列、人工控制有效性的衡量、审计轨迹，以及文件、客户服务和财务中的应用模式。

Source: https://www.agsora.tech/zh/blog/human-in-the-loop-persetujuan-manusia-untuk-ai-agent-di-proses-bisnis
Category: 技术 · Published: 2026-11-09 · Updated: 2026-11-09 · By PT Agsora Teknologi Indonesia

当企业开始让 AI 代理处理真实任务，例如回复客户、起草订单、核对发票或修改系统数据时，很快出现的问题不再是 AI 能不能做，而是它可以自主行动到什么程度。太宽松，一个错误就可能删除数据、向客户发送错误的消息，或批准本不该批准的付款。太严格，每一步都要等人，自动化就失去了价值。

人在回路（Human-in-the-loop，HITL）是设计人类审查、批准或纠正 AI 工作的节点的做法。它不只是末尾的一个批准按钮，而是一种设计：决定何时需要人介入、展示什么信息才能让决策又快又准，以及如何利用人的纠正来改进系统。本文介绍如何设定自主程度、设计审批界面、管理审查队列，以及衡量人工控制是否真正有效。

## 摘要

- 自主程度最好按操作类型根据风险和可撤销性设定，而不是对整个代理采用单一设置
- 不可撤销或涉及财务、法律和声誉影响的操作应经人工批准
- 审批界面必须展示上下文、理由和来源，让审查者能快速决策
- 不阅读就批准不是控制；要衡量审查质量，而不只是数量
- 人的纠正是改进提示词、规则和评估的宝贵数据

*AI 负责干活，人在有风险的节点做决定*

## 为什么 HITL 很重要

现代 AI 能力很强，但并不完美。它可能误读文件、编造不存在的细节、遵循所处理文本中的隐藏指令，或选择在语言上说得通却不符合业务的操作。这些风险在[运营中的 AI 风险](https://www.agsora.tech/zh/blog/risiko-ai-dalam-operasional)和[AI 应用安全：提示注入与数据泄露](https://www.agsora.tech/zh/blog/keamanan-aplikasi-ai-prompt-injection-dan-kebocoran-data)中有进一步讨论。

人工控制在三方面有帮助：

- **防止损失。**高风险错误在产生影响之前被拦截。
- **建立信任。**当团队在早期掌握控制权时，更愿意采用自动化。
- **产生学习数据。**每一次纠正都显示 AI 的薄弱之处以及如何修正。

## 设定自主程度

并非所有操作都一样。一种实用的方法：从两个维度给每个操作评级，即错误的影响有多大，以及撤销有多容易。

### 第 1 级：全自动

低风险且易于撤销的操作，例如工单分类、文件打标签或起草内部摘要。AI 执行，结果被记录，并通过定期抽样检查质量。

### 第 2 级：自动执行并通知、可撤销

AI 执行，人类收到通知并可在一定时间内撤销。适合影响中等且可逆的操作，如重新安排预约或更新联系人数据。

### 第 3 级：AI 提议，人类批准

AI 准备草稿，例如客户回复、采购订单或会计凭证，由人类在执行前审查。这是对外部对象或影响财务的操作最常见的模式。

### 第 4 级：人类决策，AI 辅助

对于高风险决策，例如大额授信批准、批量价格变更或法律行动，AI 仅提供分析和选项，决策和执行由人类完成。

随着绩效证据积累，级别可以提高。先保守起步，当数据显示错误率可接受后再放宽。更广泛的治理框架见[企业 AI 使用政策与 AI 治理](https://www.agsora.tech/zh/blog/kebijakan-penggunaan-ai-dan-tata-kelola-ai-di-perusahaan)。

## 几乎总是需要批准的操作

- 向客户、供应商或公众发送消息或邮件
- 付款、转账、退款和银行账户变更
- 批量删除或修改数据
- 价格、折扣或合同条款的变更
- 授予或撤销访问权限
- 影响员工的操作，如人事决定
- 难以恢复的生产环境操作

作为对照，传统的审批流程见[采购审批流程](https://www.agsora.tech/zh/blog/alur-approval-pembelian)。原则相同：金额门槛和操作类型决定谁必须批准。

## 设计有效的审批界面

只有当审查者真正理解自己批准的是什么时，批准才有用。糟糕的界面会让人条件反射般地点击批准。

### 展示足够的上下文

包含原始请求、来源数据、拟执行的操作及其影响。审查者不应需要打开另外五个标签页才能理解上下文。

### 展示理由和来源

说明 AI 为什么提出该操作，以及依据哪些文件或数据。来源引用使快速核实更容易，就像[基于企业知识库的 RAG AI 聊天机器人](https://www.agsora.tech/zh/blog/chatbot-ai-berbasis-pengetahuan-perusahaan-dengan-rag)那样。

### 标注置信度和异常

当出现不寻常情况时，例如金额远高于平均水平或出现新供应商，显示置信度或警告标记。把审查者的注意力引向风险最大的地方。

### 允许纠正，而不仅仅是批准或拒绝

审查者应能编辑草稿、给出拒绝理由，或在提示下让 AI 重试。结构化的纠正会成为学习数据。

### 小操作容易，大操作要慎重

对低风险事项的批量批准可加快工作，而高风险操作应要求明确确认或双人批准。

## 管理审查队列

当 AI 每天产生数百个事项时，审查队列可能成为新的瓶颈。

- **优先级。**按风险和截止时间排序，而不仅仅是到达时间
- **分配。**把事项分派给有权限且有能力的人，并在有人缺席时有后备
- **超时。**明确无人响应时会发生什么：升级处理，而不是对有风险的操作自动执行
- **工作量。**监控队列的数量和时长；队列不断增长是自主级别或 AI 质量需要复审的信号
- **抽样。**对全自动操作，定期审查随机样本以发现质量漂移

## 衡量人工控制的有效性

只是走形式的控制会带来虚假的安全感。应衡量：

- **无修改批准率。**如果近 100% 在几秒内被批准，审查者可能没有阅读，或者 AI 确实非常出色；通过抽样审计来调查
- **纠正和拒绝率。**下降趋势表明 AI 在改进
- **审查时间。**太快或太慢都是信号
- **漏网错误。**批准之后被发现有误的事件
- **周期时间。**带 HITL 的自动化是否仍比手工流程更快

输出质量的评估方法在[业务应用的 AI 与 LLM 输出质量评估](https://www.agsora.tech/zh/blog/evaluasi-kualitas-output-ai-llm-untuk-aplikasi-bisnis)中讨论。

## 审计轨迹与问责

每个 AI 操作和人的决定都应被记录：提议了什么、审查者看到了什么、谁批准、何时批准以及结果如何。这一轨迹对事件调查、审计和改进至关重要。该原则与[ERP 系统中的审计轨迹与内部控制](https://www.agsora.tech/zh/blog/jejak-audit-dan-pengendalian-internal-di-sistem-erp)相同。还应明确，最终责任仍由批准的人或职能承担，而不是 AI。

## 常见的实施模式

### 文件处理

AI 从发票或合同中提取数据，只有低置信度或大额事项才会送给审查者。更多内容见[文件数据录入自动化](https://www.agsora.tech/zh/blog/otomatisasi-input-data-dari-dokumen)。

### 客户服务

AI 起草回复，人工客服对投诉、退款或法律威胁等敏感案例进行批准，而常规问题自动回答。语音渠道请参见[用于客户服务的 AI 语音代理](https://www.agsora.tech/zh/blog/agen-suara-ai-untuk-layanan-pelanggan-dan-telepon-bisnis)。

### 财务与采购

AI 核对发票、订单和收货单，只有不一致之处才需要人工决定。这与[ERP 中的应付账款自动化与三单匹配](https://www.agsora.tech/zh/blog/otomatisasi-utang-usaha-dan-pencocokan-tiga-arah-di-erp)一致。

### 运营与系统集成

调用工具和 API 的代理需要清晰的权限边界；参见[模型上下文协议（MCP）](https://www.agsora.tech/zh/blog/model-context-protocol-mcp-menghubungkan-ai-dengan-sistem-bisnis)和[用于业务流程自动化的 AI 代理](https://www.agsora.tech/zh/blog/ai-agent-untuk-otomatisasi-proses-bisnis)。选择合适的方法也在[RPA、API 还是 AI 代理](https://www.agsora.tech/zh/blog/rpa-api-atau-ai-agent-memilih-pendekatan-otomasi-proses-bisnis)中讨论。

## 示例：AI 起草采购订单

设想一个监控库存、然后向供应商起草采购订单的代理。对于金额低于较小限额、且来自长期合作供应商的常规物品，草稿可以直接发送，人类只收到通知。对于超过某一金额、来自新供应商，或价格明显偏离历史的订单，草稿进入审批队列。审查者可以看到价格历史、当前库存、AI 提出该数量的理由以及备选供应商。如果审查者修改了数量，修改理由会被记录，并用于下一次完善规则。

几个月后，纠正的模式通常会暴露出具体的薄弱点，例如 AI 总是低估季节性高峰。修复这一点会减少纠正，自动发送的金额限额也可以依据数据而非信念逐步提高。同样的模式适用于客户回复、排程和发票匹配。

## 常见错误

- 只在末尾放置批准，导致审查者缺乏上下文
- 要求每个操作都批准，导致队列堵塞、团队抵触系统
- 让超时自动批准有风险的操作
- 不记录人的纠正，导致 AI 永远不会改进
- 在没有衡量的情况下假定人工批准自动有效
- 在没有优先级的情况下让一个人审查过多事项
- 没有把代理权限限制在所需范围内

## 常见问题

### HITL 会让自动化变慢吗？

设计得当就不会。对低风险任务全自动，仅对有风险或低置信度的案例审查，通常仍比手工流程快得多。

### 什么时候可以提高自主级别？

当有足够的数据（例如几周或数百个案例）显示错误率可接受，并且有出问题时撤销或恢复的机制之后。

### 谁应该担任审查者？

理解业务流程并对该决定有权限的人，而不只是碰巧有空的人。为他们提供关于 AI 典型错误类型的培训。

### 法规要求人工监督吗？

取决于行业和决策类型。对于对个人有重大影响的决定，许多治理框架建议有人工监督。请就你的情况咨询法律顾问。

## 结论

人在回路并不意味着 AI 还没准备好，而是构建可信自动化的方式。按操作类型设定自主级别，设计提供上下文的审批界面，管理队列以免成为瓶颈，并衡量人工控制是否真正起作用。随着纠正持续反馈到系统中，AI 的自主空间可以逐步、安全地扩大。

**设计安全可控的 AI 代理** Agsora 团队帮助构建基于 AI 的自动化，配备符合你业务流程的审批流、权限限制和审计轨迹。 [免费咨询](https://www.agsora.tech/zh/services/ai-automation)