控制 AI 成本：企业应用中聊天机器人与智能体的词元、推理与预算

AI 项目往往在试点阶段成本几乎察觉不到，等到真正投入使用才让人大吃一惊。每天回答一百个问题的聊天机器人看起来很便宜。向所有客户开放，再加上为一项任务多次调用模型的智能体，月账单可能成倍增长，而没有人改过一行代码。AI 成本是可变的：它随使用量、文本长度和模型选择增长，而不是随您租用的服务器数量增长。

因此，管理 AI 成本需要不同于传统基础设施成本的思路。本文说明成本从何而来，如何在构建前估算，如何在不牺牲质量的前提下降低成本，以及如何监控以免月底出现意外。讨论是通用的，不依赖某一家供应商，因为价格和模型名称变化很快。

摘要

• AI 成本主要取决于输入与输出的词元（token）数量、模型选择、每项任务的调用次数以及使用量
• 在构建前估算每项任务和每位用户的成本，再用真实数据而不是简短示例来测试
• 最大的节省通常来自：按任务难度匹配模型、缩短上下文、缓存重复结果、将非紧急工作批量运行
• 从一开始就设置预算上限、告警和按功能的成本报告，而不是等账单暴涨后再补
• 将成本与质量一起衡量：降低回答质量的节省，往往会以投诉和返工的形式花费更多

AI 成本从何而来

大多数语言模型服务按词元计费，词元是约相当于四分之三个英文单词的小段文本。包括印尼语和中文在内的其他语言，同样长度的文本可能使用不同数量的词元。一般而言，供应商对输入词元（您发送给模型的全部内容）和输出词元（模型生成的内容）定价不同，输出词元的单价通常更高。

值得梳理的成本构成包括：

• 模型调用：输入与输出词元数量乘以所选模型的价格
• 额外上下文：检索到的文档、对话历史和每次调用都重复发送的系统指令
• 链式调用：规划、调用工具、检查结果再重试的智能体，处理一次用户请求可能用上十几次调用
• 向量嵌入与存储：把文档转换为向量并存入检索数据库
• 配套基础设施：向量数据库、队列、监控和日志存储
• 评测与测试：定期运行测试集同样消耗词元
• 人工成本：AI 出错时的审核、纠正和升级处理，初期核算时常被遗忘

构建前估算成本

初步估算不必复杂，但必须使用现实的数字。下面这个简单框架足以起步。

计算每项任务的成本

选取一项典型任务，例如回答客户问题或总结一份文档。估算平均输入词元（包括系统指令和辅助文档）及输出词元，乘以模型价格，再计入每项任务的平均调用次数，得到的就是每项任务的成本。

乘以业务量和旺季

将每项任务成本乘以每月任务数。使用三种情景：保守、预期和高峰。有旺季的企业（例如大型购物节前的零售商）需要关注高峰情景，因为聊天机器人的负载可能成倍增加。

用真实数据衡量

演示中使用的简短示例几乎总是比真实使用更短。客户会写长文、附上文档并追问。请用实际对话或文档的样本测试，使平均词元数反映现实。如果您已有用于质量的测试集（见评估 AI 输出质量），可用同一套测试集来衡量成本。

计算产生的价值

成本只有与价值对比才有意义。把每项任务成本与人工处理成本、节省的时间或带动的收入对比。昂贵但取代了更高成本工作的功能依然值得。没人使用的廉价功能依然是浪费。

在不降低质量的前提下压缩成本的方法

大部分节省来自几项反复出现的方法。请逐项实施，并衡量对质量的影响。

按难度选择模型

并非每项任务都需要最大的模型。对来信分类、从表单提取字段或简短改写，小模型往往就能胜任，而且便宜快速得多。把大模型留给复杂推理或高风险的回答。常见做法是简单路由：小模型处理简单情况，困难情况转交能力更强的模型。

削减不必要的上下文

每个输入词元在每次调用中都要付费。检查冗长的系统指令、明明只有最后几轮相关却整段发送的对话历史，以及检索到的文档过多的情况。在基于企业知识的 RAG 聊天机器人这类文档检索系统中，发送五段恰当的内容往往比二十段相似内容更便宜也更准确。

利用缓存

许多供应商提供对提示开头重复部分的临时存储，使这部分在后续调用中按较低价格计费。请安排提示，让指令和示例等固定部分在前，变化部分在后。此外，对完全相同或高度相似的问题，可以在应用端保存结果，前提是答案不依赖快速变化的数据。

将不紧急的工作批量运行

不需要立即完成的工作，例如历史数据打标签、夜间摘要或批量生成商品描述，可以作为批处理任务提交。许多供应商对期限更宽松的异步处理提供更低的价格。

限制输出长度和尝试次数

按任务设定合适的最大输出词元数，只需要数据时要求紧凑格式，例如结构化 JSON。限制智能体的重试次数和步骤深度，避免单个请求无休止地循环。关于自动化智能体，另见用于业务流程自动化的 AI 智能体。

普通逻辑足够时就用普通逻辑

并非所有事情都需要语言模型。明确的业务规则、关键词检索或确定性计算更便宜、更快、更可预测。仅在真正需要语言理解的部分使用 AI，其余交给普通代码。方案的选择也在RPA、API 还是 AI 智能体一文中讨论。

云 API 还是自有模型：成本比较

一个常见问题是自己运行模型是否更省钱。答案取决于业务量。自建模型需要硬件或租用 GPU、维护人员、监控和安全更新。这些固定成本只有在业务量高且稳定，或有强烈的数据保密理由时才合理。对于中低业务量，按用量计费的 API 服务通常更便宜也更简单。更完整的比较见自托管 LLM 还是云 API一文。基础设施成本控制的一般原则同样适用，见企业云成本控制。

在生产环境监控并控制成本

纸面估算之后必须有真实监控。一些有用的做法：

• 在每次调用中记录输入词元、输出词元、模型和功能，然后按功能、客户和日期汇总
• 为每个功能打上成本标签，以便看出哪个功能最贵、价值是否相称
• 设定月度预算，并在多个阈值设置告警，例如百分之六十、八十和一百
• 为每位用户设置速率限制，避免单个账号、机器人或滥用耗尽预算
• 准备紧急熔断，当预算超出时可停用昂贵功能或切换到更便宜的模型
• 与产品团队而非仅技术团队一起审阅月度成本报告
• 警惕异常峰值，它可能意味着智能体的循环错误，或故意耗尽资源的攻击

紧急熔断和渐进式发布等控制手段，在企业应用的功能开关与渐进式发布中有进一步讨论。通过输入滥用来耗尽预算等安全问题，与AI 应用安全：提示注入与数据泄露相关。

在成本、质量与速度之间取得平衡

这三者相互牵制。更大的模型通常更准确，但更贵也更慢。更长的上下文有助于准确度，却会提高成本和响应时间。没有对照质量衡量的节省，有可能把成本转移到别处，例如投诉数量、升级工单或人工返工。

最稳妥的方法是先设定最低质量门槛，再寻找仍然超过该门槛的最便宜配置。每次更换模型或提示都对同一测试集运行，这样您就能确切知道某项节省是否以及牺牲了多少准确度。关于由谁有权批准此类变更的治理，见企业的 AI 使用政策与 AI 治理。

管理 AI 成本的常见错误

• 根据简短演示而不是真实数据和用户行为来判断成本
• 因为最省事而对所有任务使用最大的模型，从不测试更小的替代方案
• 在每次调用中发送对话历史或整份文档
• 没有限制智能体的步骤数和重试次数
• 没有速率限制和预算，导致一个缺陷或一次滥用就能在数小时内耗尽一个月的资金
• 只省钱而不衡量质量，使客户体验变差
• 忽视模型账单之外的人工和维护成本
• 被锁定在单一供应商且没有抽象层，使切换到更便宜的模型成为大工程

数周内起步的步骤

1. 选择一个已运行或即将上线的 AI 功能，梳理其调用流程

2. 在每次调用中加入词元、模型和功能的记录

3. 抽取真实使用样本，计算每项任务和每位用户的成本

4. 设定预算、告警和每位用户的速率限制

5. 一次测试一项节省措施，例如对简单任务使用更小的模型，并在质量测试集上衡量影响

6. 每月审阅成本报告，并结合业务目标调整

常见问题

AI 成本会不断下降，所以不用费心节省吗？每词元价格确实有随时间下降的趋势，但用量通常增长更快，新功能也往往使用更多调用。监控的纪律依然需要。

合理的起始预算是多少？没有通用数字。从每项任务的估算成本乘以保守情景的业务量开始，加上余量，并在预算用满前设定告警。

小模型足以支撑客服聊天机器人吗？简单问题往往可以，复杂情况用更大的模型作为后备。请用测试集证明，而不是靠假设。

压缩或截取文档会损害准确度吗？如果重要部分被截掉就会。因此要在前后衡量准确度，并按相关性而不是单纯按长度进行削减。

发送给供应商的个人数据成本如何？这不仅是成本问题。请审查供应商的数据保留政策，并按照数据保护原则尽量减少发送的个人数据。

结论

把 AI 成本当作产品指标而不是会计意外，成本就能被控制。梳理成本来源，用真实数据估算，实施可衡量的节省措施，如模型选择、上下文削减、缓存和批处理，并从第一天起设置监控、预算和速率限制。始终把节省与质量对照权衡。这样，AI 仍是价值清晰的投资，而不是悄悄增长的账单。