评估 AI 输出质量（LLM 评测）：发布前后如何测试聊天机器人与 AI 智能体

许多 AI 项目停留在令人惊艳的演示阶段。聊天机器人把三个示例问题回答得很好，大家鼓掌，随后系统上线给客户，结果却是答得很自信但答错了、编造并不存在的政策，或在模型更新后行为发生变化。原因几乎总是相同：没有可衡量的方法，来判断 AI 系统在上线前后是否足够好。

评估 AI 输出质量，常被称为 LLM 评测（LLM evals），就是系统化地衡量这一点的做法。对企业而言，评测不是技术上的奢侈品，而是决定 AI 功能能否安全交给客户、员工或财务流程的护栏。本文介绍需要衡量什么、如何用真实数据构建测试集、评分方法，以及上线后如何监控质量。

摘要

• 好的演示不等于质量有保证：没有固定的测试集，您无法知道提示词或模型的改动让结果变好还是变差
• 最好的测试集来自企业自身的真实问题、文档和边缘案例，并由懂业务领域的人标注
• 混合使用自动评分、由另一模型评分和人工审核，分别针对不同类型的质量
• 在上线前设定通过阈值，每当提示词、模型或数据变化时运行评测，并在生产环境中监控质量
• 从 50 到 100 个有代表性的测试用例开始，而不是一上来就购买昂贵的评测平台

为什么 AI 不能像普通软件那样测试

在传统软件中，测试相对简单：相同的输入应得到相同的预期输出，因此一个自动化测试要么通过，要么失败。大语言模型的工作方式不同。答案是自由文本，可以有多种正确的表述，并且每次运行都可能略有差异。同一个问题只要措辞稍有不同，答案的质量就可能不同。

因此，AI 测试关心的不是输出是否完全相同，而是输出是否满足我们设定的质量标准：事实正确、与来源一致、礼貌得体、不泄露数据，并符合所需格式。正是从这种小型测试工作演变为一门独立学科，才催生了评测这一做法。

对企业来说，风险是真实的。把价格或保修条款说错的助手可能引发纠纷。总结合同时漏掉一条重要条款的系统可能误导决策。而今天表现良好的系统，明天也可能因为模型提供商在您未留意的情况下更新版本而退化。没有评测，这些问题只有在客户投诉之后才会暴露。

先定义什么叫质量

在构建测试集之前，先确定对您的使用场景重要的质量维度。并非所有维度同等重要，明确写出来可以避免无休止的争论。

• 事实准确性：答案是否符合公司官方资料
• 忠实于来源（有据可依）：答案是否只使用所提供文档中的信息，而不是模型的编造
• 完整性：是否遗漏了重要要点
• 格式合规：输出是否符合其他系统所需的结构，例如有效的 JSON
• 安全与合规：是否拒绝了应拒绝的请求，是否没有泄露个人数据
• 语气与语言：是否符合品牌风格和用户使用的语言
• 延迟与成本：每次请求是否足够快、足够便宜

对客服助手来说，事实准确性和忠实于来源通常最重要。对营销草稿工具而言，语气和创意比单一事实更重要。对在系统中执行操作的智能体，遵守权限边界是绝对要求，这一主题在AI 应用安全：提示词注入与数据泄露一文中有进一步讨论。

用真实数据构建测试集

测试集，常称为黄金集或评测数据集，是一组带有输入和预期答案或标准的用例。它的质量决定整个评测的质量，因此值得像对待企业资产一样对待。

测试用例从哪里来

最好的来源是真实发生过的数据。从客服工单记录、WhatsApp 聊天历史、客服邮箱或销售团队的笔记中提取真实问题。真实问题通常比技术团队编造的更杂乱、更简短、更含糊，而系统恰恰常在这里出错。如果项目尚未开始，可以请最常回答客户问题的团队写下最常出现的二十个问题和最难的二十个问题。

使用前确保示例中的个人数据已匿名化，这符合个人数据保护的原则。测试集常常会被复制到各种工具和供应商那里，所以从一开始就保持干净更安全。

均衡的构成

只含容易问题的测试集会带来虚假的安全感。请构建反映现实的构成：

• 代表大部分流量的常见案例，用于确认基本表现
• 边缘案例，例如含糊的问题、双语问题或带错别字的问题
• 答案确实不在文档中的案例，用来测试系统是否敢于说不知道
• 高风险案例，例如要求给出政策之外的折扣，或要求透露其他客户的数据
• 攻击案例，例如用户上传的文档中隐藏的指令

起步阶段，50 到 100 个精心挑选的用例就已非常有用。每当发现一次生产故障，就新增一个用例，让测试集随着经验成长，同样的故障不会悄悄重演。

由懂业务领域的人标注

参考答案或评分标准必须由真正了解业务的人撰写或批准：客服人员、会计、仓库人员或内部法务专家。完全交给供应商标注往往会漏掉公司特有的细微之处。同时记录由谁在何时标注，因为政策会变，过时的标注会导致误导性的评测。

评分方法：组合优于单一方法

没有一种评分方法适合所有维度。行之有效的做法是组合三个层次。

1. 基于规则的自动评分

有些质量可以用简单的代码检查，结果确定：输出是否为有效 JSON、是否包含必填字段、长度是否在限制内、是否含有禁用词或银行卡号模式。这些检查便宜、快速，可以在每次改动时运行。凡是能明确定义的内容，都尽量使用这种方式。

2. 由另一模型评分（LLM 作为评委）

对于更细微的维度，如忠实于来源或表达清晰度，可以让另一个语言模型依据书面评分细则给答案打分，例如一到五分的量表并对每个分数加以定义。这比逐条人工打分更容易规模化，但也有弱点：模型评委可能偏向较长的答案，可能偏爱自己所属模型的风格，也不总是一致。因此，要在小样本上把评委的打分与人工打分做对比来校准，并不断完善细则，直到一致性足够。

3. 人工审核

涉及风险与细微差别时，人工仍是黄金标准。随机抽取一批输出，再加上被自动评委评为较差的所有案例，请懂业务领域的审核人员评分。人工审核成本高，所以要有针对性地使用：在重大发布之前、重大改动之后，以及在生产环境中定期抽取少量样本。

对于基于文档检索的系统，例如基于 RAG 的企业知识聊天机器人，评测应把两部分分开：检索是否找到了正确的文档，以及模型是否基于这些文档正确作答。分开评测能加快诊断，因为检索问题的修复方法与答案问题的修复方法截然不同。

设定通过阈值与发布门槛

评测只有与决策相连才有用。发布之前，设定由业务负责人而不仅仅是技术团队认可的通过阈值。

• 为每个维度设定最低分，例如常见案例的事实准确性至少 95%
• 对关键类别设定零容忍，例如在任何一个攻击案例中都不得泄露其他客户的数据
• 设定回归上限，例如改动不得使任何分数比上一版本下降超过两个点
• 明确谁有权批准例外，以及如何记录理由

这种门槛类似于普通软件开发中的自动化测试。如果您已经有自动化测试与 CI/CD流程，AI 评测可以作为其中的额外步骤运行：提示词、模型或知识库的每次改动都会触发评测，分数低于阈值时暂停发布。

哪些改动应触发重新评测

AI 系统中可能变化的部分比普通软件更多，每一次变化都可能影响质量。

• 提示词或系统指令的改动，即使看似微不足道，例如多加了一句话
• 更换或更新模型版本，包括提供商的自动更新
• 知识库的变化：新增文档、修订政策或删除旧文档
• 温度、上下文长度或检索文档数量等设置的变化
• 增加或更改智能体可调用的工具
• 用户模式的变化，例如新产品带来了新类型的问题

尽可能固定模型版本，使变化只在您决定并测试之后才发生。在选择自托管 LLM 还是云 API时也会遇到类似考虑，因为两种选择对模型版本的控制程度不同。

上线后监控质量

测试集能发现您已经设想到的问题，而生产环境会暴露您尚未设想到的问题。因此，评测不会在上线时结束。

• 记录每次交互的输入、输出、检索到的文档以及提示词和模型版本，并做好合理的数据保护
• 为用户提供简单的反馈按钮，例如点赞或点踩，然后审阅所有被评为差的交互
• 每周随机抽取一批交互供人工审核
• 关注替代指标：转人工的比例、重复提问的比例、回答不知道的占比以及投诉
• 跟踪每次交互的成本和响应时间，因为效率下降往往是问题的早期信号
• 把每一次真实故障加入测试集，避免重演

这一做法与可观测性、日志与错误处理的原则一致：看不见的东西就无法修复。

AI 评测中的常见错误

• 只用开发团队编造的问题测试，测试集过于简单，无法反映真实客户
• 反复修改提示词，仅凭三个例子的直觉判断，而不是依据固定的测试集
• 依赖单一平均分，掩盖了小而高风险类别中的严重故障
• 使用模型评委却从未对照人工评分进行校准
• 把测试用例泄露到提示词或训练数据中，使得分看似很高却具有误导性
• 政策、价格或产品变化时不更新测试集
• 把评测当作一次性项目，而不是持续的过程

两到四周内起步的步骤

1. 选择最重要或风险最高的一个 AI 使用场景，不要一次全做。

2. 用一页纸写下质量定义，并与业务负责人达成一致。

3. 收集 50 到 100 个匿名化的真实案例，包括边缘案例和高风险案例。

4. 请懂业务领域的人员撰写参考答案或评分细则。

5. 让当前系统跑一遍测试集，得到基线分数，即使结果令人失望。

6. 为确定性的部分构建自动评分，为细微的部分构建经过校准的模型评委。

7. 设定通过阈值，并在每次改动发布前运行评测。

8. 在生产环境启用日志与反馈，并把真实故障加入测试集。

这种方法与企业 AI 使用政策与 AI 治理相契合：评测结果成为 AI 系统受到监督、而不仅仅是被信任的证据。

常见问题

我们需要专门的评测平台吗？起步阶段不需要。一份含测试用例的电子表格加上一个调用系统并给结果打分的脚本，就足以看到这一做法的价值。待数量和团队规模增长后，专门的平台才有用。

由另一个模型打分可信吗？可以，前提是评分细则清晰，并且结果已在样本上与人工评分校准。不要让它成为高风险决策的唯一依据。

评测应该多久运行一次？每当提示词、模型、数据或工具变化时运行，再加上每周或每月的定期检查，以发现外部因素造成的退化。

评测能保证 AI 从不出错吗？不能。评测是降低并衡量风险，而不是消除风险。因此对于影响重大的决策，仍应提供人工审核和升级路径。

结论

可靠的 AI 不只是巧妙提示词的结果，更是严谨衡量流程的结果。凭借清晰的质量定义、来自真实数据的测试集、自动与人工评分的组合、上线前的通过阈值以及上线后的监控，企业可以带着有依据的信心使用 AI。从一个使用场景和几十个真实例子小处着手。当每一次改动都能用数字而不是直觉来回答时，价值最大。