提示词、RAG 还是微调：选择让 AI 适配您业务需求的方式

当企业开始把大语言模型（LLM）用于客户服务、文档生成或内部分析时，一个问题很快就会出现：如何让 AI“懂”我们的业务？常听到的回答是“直接用我们的数据训练模型”。实际上有三种主要方法，它们在成本、速度和风险上差异很大：编写指令（提示词工程）、把模型连接到公司文档（检索增强生成，即 RAG），以及调整模型本身（微调）。选错了方法，意味着浪费时间和预算，或得到不准确的结果。

本文用企业主和产品经理能够理解的语言介绍这三种方法、各自适用的时机、如何组合，以及按顺序做决定的步骤。核心信息是：从最简单、最便宜的开始，衡量结果，只有在有证据表明确有需要时才升级。

摘要

• 提示词工程是起点：成本低、修改快，往往已能满足许多需求
• 当 AI 必须依据经常变化的公司文档作答且需要引用来源时，适合用 RAG
• 微调适合调整一致的风格、格式或特定行为，而不是用来“注入”不断变化的知识
• 三者可以组合；健康的顺序是先提示词，再 RAG，仍有差距时再微调
• 无论选择哪种，都要准备测试集和指标，使决策基于证据而非直觉

用通俗的话说明三种方法

想象您雇了一位聪明且见多识广的新助理，但他还不了解您的业务。有三种办法让他变得有用。

提示词工程：给出书面指示

在每次请求中给出清晰的指示：角色、语气、回答格式、必须遵守的规则以及好答案的示例。模型本身完全不变，只是指令更好了。类比一下，就是每天早上递给新助理一页工作指南。

RAG：提供书籍和档案的查阅权限

系统检索相关的文档片段（政策、目录、SOP、FAQ），并将其插入请求中，使模型依据这些文档作答。模型还可以注明来源。类比一下，就是让新助理在回答问题前先打开档案柜。完整讨论见基于企业知识的 AI 聊天机器人与 RAG。

微调：重新训练模型的习惯

用成百上千组“输入—理想输出”的示例对模型继续训练，使其行为发生变化：写作风格、回答结构或决策方式。类比一下，就是让助理接受强化培训，直到习惯以您的方式工作。需要注意的是，微调改变习惯的效果远好于存储准确且始终最新的事实。

什么时候提示词工程就够了

许多团队在尝试最简单的方法之前，就跳到复杂的技术。精心编写的提示词往往不需要大笔投入，就能解决 70% 到 80% 的需求。

在以下情况下，提示词就够了：

• 任务比较通用，不依赖内部数据，例如总结、翻译或撰写邮件草稿
• 规则和语气可以用几段话说清楚
• 可以直接在请求中给出理想答案的示例（少样本）
• 请求量不大，长指令的成本不明显
• 您仍在探索真正需要什么

良好的提示词实践

• 清楚说明角色和目标
• 说明边界：哪些不能回答，什么时候应交给人工
• 要求明确的输出格式（列表、表格或数据结构），便于其他系统处理
• 包含 2 到 5 个代表真实情形的示例，包括困难情形
• 将提示词放入版本管理并测试每次改动，因为小改动也可能改变结果
• 把固定指令与用户数据分开，以降低提示词注入的风险，参见[AI 应用安全：提示词注入与数据泄露](/blog/keamanan-aplikasi-ai-prompt-injection-dan-kebocoran-data)

什么时候 RAG 是答案

当您的问题是“知识”时，RAG 最合适：AI 必须依据通用模型所没有的、公司特有的事实作答。

在以下情况下适合用 RAG：

• 答案必须来自内部文档：政策、产品目录、合同、SOP、知识库
• 文档内容经常变化（价格、规则、库存、流程），答案必须始终保持最新
• 需要展示来源，让用户可以核实
• 访问必须受限：员工只能从其有权查看的文档中获得答案
• 希望通过把模型限制在所提供的上下文内，来减少编造答案（幻觉）

在知识方面 RAG 相对微调的优势

• **即时更新**：更换文档，答案随之改变，无需重新训练
• **来源可追溯**：便于审计
• **访问控制**：可以按用户过滤文档
• **前期成本较低**：无需准备成千上万条训练示例

RAG 成功的条件

RAG 的质量在很大程度上取决于文档质量和检索。过时、相互矛盾或杂乱的文档，即使模型再先进也会给出糟糕的答案。请先准备好数据和文档责任人；指南见启动 AI 项目前的企业数据准备和数据质量与数据治理。同时要调整文档的切分、索引方式以及检索的测试，而不仅仅是最终答案的质量。

什么时候值得考虑微调

微调不是把业务知识放进模型的捷径。它适用于更窄的需求。

在以下情况下适合微调：

• 您需要非常一致、难以用指令描述的风格、语气或格式，例如特定的品牌口吻或固定的报告结构
• 任务具体且大批量重复，例如对工单分类、从文档中提取字段，或把文本转换成特定格式
• 过长的提示词使成本和速度不再合理，而一个经过微调的较小模型可以以更低成本替代大模型
• 您拥有数百到数千条经专家审核的高质量示例
• 在狭窄任务上，仅靠提示词和 RAG 无法达到所需的高准确率

微调需要注意的事项

• **知识会过时**：训练进去的事实不会随政策变化而变化
• **需要高质量数据**：糟糕或有偏见的示例会被模型继承
• **成本与时间**：数据准备、训练、评估，以及每次基础模型更换时的维护
• **隐私风险**：训练中的敏感数据可能在输出中再次出现；应做匿名化并确认服务商政策符合要求
• **依赖性**：在某一服务商上微调的模型难以迁移，与[云与企业软件中的供应商锁定](/blog/vendor-lock-in-di-cloud-dan-software-bisnis-strategi-keluar)相关

简要对比

以下是三者在实践中的差异，供初步参考。

• **启动时间**：提示词以天计，RAG 以周计，微调以周到月计
• **前期成本**：提示词最低，RAG 居中（检索基础设施和文档处理），微调最高（数据、训练、评估）
• **更新难易**：提示词和 RAG 容易，微调需要重新训练
• **业务事实的准确性**：文档良好时 RAG 最佳，提示词有限，微调不应被依赖来提供事实
• **风格和格式的一致性**：微调最强，示例清晰时提示词也不错，RAG 不侧重于此
• **来源透明度**：RAG 出色，其他较弱

组合使用多种方法

在实践中，好的系统往往采用组合。

• **提示词加 RAG**：内部助理和客服聊天机器人最常见的组合。提示词设定角色、语气和边界；RAG 提供事实
• **RAG 加微调模型**：经微调以固定风格或格式的小模型，加上用于事实的 RAG
• **带工具的智能体**：模型通过 API 调用业务系统（库存、订单、价格）获取实时数据；参见[用于业务流程自动化的 AI 智能体](/blog/ai-agent-untuk-otomatisasi-proses-bisnis)和[模型上下文协议（MCP）](/blog/model-context-protocol-mcp-menghubungkan-ai-dengan-sistem-bisnis)

对于库存和今日价格这类高度动态的数据，不要依赖静态文档或训练过的模型；在请求发生时直接从源系统获取。

简单的决策树

请按顺序回答以下问题。

1. 问题出在知识还是行为？

如果 AI 出错是因为不了解公司的事实，那是知识问题，应转向 RAG 或数据集成。如果 AI 知道，但风格、格式或决策方式不对，那是行为问题；先从提示词开始，再考虑微调。

2. 信息变化有多频繁？

经常变化意味着用 RAG 或直接访问数据。很少变化、更偏向决策模式的，则可以考虑微调。

3. 是否已经试过并衡量过最佳提示词？

如果还没有，就不要往下走。改进提示词，增加示例，并用测试集衡量。许多项目其实到这里就结束了。

4. 是否有高质量的训练数据？

没有数百条干净且经专家审核的示例就做微调，通常是白费。如果还没有，先通过正在运行的系统（提示词和 RAG）配合用户反馈来收集。

5. 单次请求的成本和速度是否已成问题？

如果大批量加上长提示词推高了成本，经过微调的小模型可能更省钱。参见控制 AI 成本：令牌与推理。

先衡量，再决定

无论采用哪种方法，决策都应建立在衡量之上。

• 收集 50 到 200 个真实的问题或任务及预期答案
• 对每种方法的结果进行一致的评分：准确性、完整性、安全性、语气和速度
• 邀请领域专家评判抽样答案
• 每当提示词、文档或模型发生变化时，重复测试
• 上线后通过用户反馈和随机抽样进行监控

完整框架见评估 AI 输出质量（LLM 评测）。没有测试集，团队往往凭几个令人印象深刻的例子下判断，随后被现场的失败所震惊。

模型方面的考虑：云 API 还是自行管理

方法的选择也与模型运行的位置有关。自行调整和运行模型可以掌控数据，但需要基础设施和专业能力。使用服务商的 API 起步更快，但需要考虑隐私和依赖性。完整讨论见自托管 LLM 还是云 API。敏感数据应遵循企业 AI 使用政策与 AI 治理。

示例场景

网店客服聊天机器人

需求：回答有关退货政策、配送和产品的问题。方法：用提示词设定语气和边界，对政策页面和目录使用 RAG，通过 API 集成获取订单状态。早期阶段无需微调。

客服工单分类

需求：每天把成千上万的工单归入类别和优先级。方法：先用带示例的提示词；如果量很大且需要提高准确率，再用带标签工单微调的小模型。相关内容见客户支持工单系统与 SLA。

以公司风格撰写提案草稿

需求：结构和语气一致的草稿。方法：带模板和示例的提示词，对作品集和标准价格使用 RAG。如果拥有数百份最佳提案且风格难以描述，则考虑微调。

常见错误

• 把微调当作灌输公司事实的最佳方式
• 没有衡量提示词和 RAG 的能力就直接跳到微调
• 在 RAG 中使用过时或杂乱的文档，然后怪罪模型
• 没有建立测试集，因此无法比较各种方案
• 在未做匿名化和政策审查的情况下用敏感数据训练
• 忘记维护：文档、提示词和基础模型都会随时间变化

常见问题

微调会让 AI 更了解我的业务吗？

不会自动如此。它主要改变风格和行为。对于准确且最新的业务事实，RAG 或直接访问数据通常更合适。

微调需要多少数据？

取决于任务，但一般是数百到数千条高质量示例。质量和多样性比纯粹的数量更重要。

RAG 和微调可以一起使用吗？

可以，而且往往能构建出强大的系统：经微调以固定风格或格式的模型，加上用于最新事实的 RAG。

哪种对敏感数据最安全？

没有哪种是天然安全的。起决定作用的是数据在哪里处理、访问控制、服务商政策以及匿名化。按用户设置访问控制的 RAG 有助于确保人们只能看到自己有权访问的文档。

结论

在提示词、RAG 和微调之间做选择，就是让问题与合适的工具相匹配。先从好的提示词开始，为不断变化的公司知识加上 RAG，只有在其他方法都无法实现特定行为或格式时才考虑微调。每个阶段都用测试集衡量，您的决策就会有证据、成本合理且易于维护。