小型语言模型（SLM）与端侧 AI 在企业应用中的应用：何时小模型更合适

过去两年，企业应用中的大多数 AI 功能都以同样的方式构建：每个请求都发送到云服务商运行的大型语言模型，再把答案展示给用户。这种模式上手快，但随着使用量增加，会带来三个日益明显的后果：难以预测的按 token 计费、受网络影响的响应时间，以及公司数据必须离开自有环境。

小型语言模型（SLM）提供了另一条路径。参数量在数亿到数十亿之间的模型，如今已足以胜任许多范围明确的狭窄任务，并且可以在笔记本电脑、手机、边缘设备或一台普通服务器上运行。本文介绍何时小模型比大模型更合适、它的局限、现实可行的架构模式，以及在业务流程中使用之前如何进行测试。

摘要

• SLM 适合狭窄且重复的任务：分类、数据提取、简短摘要、表单填写以及内部文档搜索
• 主要优势是每次请求成本稳定、延迟低、数据留在设备或自有服务器上，并且可以离线工作
• 局限在于复杂推理、广泛的通用知识以及冗长的开放式任务
• 混合架构，即小模型处理常规工作、大模型处理疑难情况，往往效果最好
• 决策应基于公司真实数据的测试，而不是通用基准测试的宣传

什么是小型语言模型

目前没有官方界限，但在行业实践中，SLM 通常指参数量大约低于 100 亿的模型。这类模型可以经过压缩（量化）放入消费级设备的内存中，无需数据中心显卡即可运行。一些手机和笔记本厂商也在操作系统中内置了可供应用调用的小模型。

SLM 的不同之处不仅在于规模，更在于使用方式。大模型被当作全能助手使用；小模型则被当作专用组件：只负责一类任务，配合严格的指令和清晰的输出格式，并且常常用公司所在领域的示例进行微调。

小模型在哪里运行

• 在用户设备上：业务员的手机、仓库平板或员工笔记本
• 在边缘设备上：门店、工厂或车辆中的小型计算机
• 在公司自有服务器或私有云上，不调用第三方 API
• 在浏览器中，用于 Web 应用的轻量功能

运行位置决定了硬件需求、模型的更新方式以及安全责任归属。自行部署模型与云端 API 的总体比较，请参阅如何在自托管 LLM 与云端 API 之间选择。

企业为何开始关注小模型

可预测的成本

大模型按 token 计费。对于每天调用数千次的功能，例如对来信分类或读取收据，这笔费用会不断累积并随使用量上升。自有服务器上的小模型成本更为固定：硬件、电力和维护。在用户设备上，推理成本实际上由设备本身承担。降低大模型账单的方法，请参阅控制 AI 成本、token 与推理。

低延迟

发往云端的请求要经过网络、服务商的队列以及大模型的处理时间。对于需要即时反馈的功能，例如输入时的表单建议或仓库中的语音指令，几百毫秒都很关键。本地小模型几乎可以即时作答。

数据留在内部

合同文件、患者数据、工资单或客户记录，往往在没有明确依据时不得发送给第三方。在自有设备或服务器上运行模型，因数据无需流转而简化了合规。但仍需要访问策略与日志记录，详见网站与应用的个人数据保护。

无网络也能工作

外勤团队、信号弱地区的仓库，或船舶与矿区，常常没有稳定连接。端侧 AI 功能在离线时依然可用，待连接恢复后再同步结果。这类应用的设计原则见应用何时需要离线工作。

适合与不适合 SLM 的任务

适合

• 文本分类：投诉类型、费用类别、客户消息意图
• 从文本或 OCR 结果中提取结构化数据：发票号、日期、金额、供应商名称
• 以固定格式总结短文本，例如销售拜访记录
• 将自然语言请求转换为搜索参数或筛选条件
• 根据模板和已有数据起草回复
• 为内部文档的语义搜索生成向量（embedding）
• 在文本发送到其他系统之前检测敏感数据

不太适合

• 需要长链推理的多步骤分析
• 需要广泛且最新通用知识的开放性问题
• 高质量的长篇创意写作
• 需要在超长上下文中同时理解大量文档的任务
• 在缺乏严格限制的情况下自主选择并调用多种工具的智能体

实用原则是：任务越窄、答案形式越明确，小模型就越可能够用；任务越开放、越多变，就越可能需要大模型。

现实可行的架构模式

仅使用小模型

适用于单一、高频、低风险的功能，例如工单自动分类或商品图片打标签。整个过程在本地运行，成本易于计算。

路由：先小后大

由小模型先处理请求并给出置信度。如果置信度低或请求被判定为复杂，则转交给大模型。这种模式通常能省去大部分对大模型的调用，而不降低疑难情况的质量。

小模型作为守门员

在文本发送到云端大模型之前，由本地小模型屏蔽姓名、证件号或账号。答案返回后，再在应用端恢复原始数据。这样既能利用大模型的能力，又无需发送原始数据。

基于 RAG 的本地搜索

在自有服务器上运行小型向量模型和向量数据库，查找相关的文档片段。最终答案可以由小模型或大模型生成。提示词、RAG 与微调之间的选择，详见提示词、RAG 还是微调。

需要正视的局限与风险

不同任务质量差异大

小模型可能在某项任务上表现出色，却在看似相似的任务上表现很差。通用基准测试成绩并不能保证在您数据上的效果，尤其是包含地方术语、缩写和混合语言的本地语言。

用户硬件参差不齐

低端手机可能内存不足，运行模型也会消耗电量。应用必须检测设备能力并提供备用路径，例如改在服务器处理或推迟任务。

模型更新与版本

分布在数千台设备上的模型必须安全更新。需要分发机制、版本标记，以及在更新导致质量下降时回退到旧版本的能力。

端侧模型的安全

下发到设备的模型和系统指令可能被提取。不要在用户设备上运行的提示词中放入密钥、API 密钥或敏感业务规则。重要决策仍应在服务器端校验。

许可协议

许多开源模型附带特定条款的许可，例如商业使用限制或署名要求。在将模型纳入产品之前，请先核查许可。

决策前如何测试

是否采用小模型，应通过可量化的测试来决定，而不是凭演示印象。

• 从想要自动化的流程中收集 200 到 500 个真实样例，包括疑难情况和杂乱数据
• 为每个样例确定正确答案，最好由熟悉流程的人审核
• 用相同的指令比较几个小模型，并以一个大模型作为参照
• 衡量准确率、目标设备上的响应时间、内存占用以及每千次请求的成本
• 分析错误类型，而不只是平均分：有危害的错误比轻微错误更重要
• 在仍需支持的最弱设备上测试，而不仅仅在开发者的笔记本上测试

更完整的评估框架见企业应用中 AI 与 LLM 输出质量的评估。请保留这套测试集，因为每次更换或更新模型时都会再次用到。

企业应用中的示例

外勤销售应用

业务员口述拜访记录，手机上的小模型将其转换为结构化摘要：门店、投诉、感兴趣的产品和后续跟进。该功能在无信号区域也能使用，连接恢复后结果同步到 CRM。

收据与发票处理

收据照片的 OCR 结果由公司服务器上的小模型处理，提取日期、供应商、金额和费用类别。置信度低的情况会标记出来交由财务人员核对。数据始终不离开公司服务器。

内部流程搜索

仓库员工用日常语言搜索操作流程。本地服务器上的小型向量模型找到相关文档，并在引用出处的前提下生成简短答案。

上云前过滤数据

对于确实需要大模型的功能，例如分析长篇合同，先由小模型屏蔽个人数据，只发送清理后的文本。

常见错误

• 因为潮流而选择模型，而不是基于具体任务的需求
• 依赖通用基准测试，不用自己的数据测试
• 以为本地模型天然安全，而不管理访问权限和日志
• 没有为能力不足的设备提供备用路径
• 给小模型分配过于宽泛的任务，然后得出小模型没用的结论
• 忘记计算维护成本：模型更新、质量监控和硬件

常见问题

小模型能很好地处理印尼语等本地语言吗？

许多多语言小模型在印尼语的狭窄任务上已经足够好，但质量参差不齐。请用包含缩写和本地术语的真实文本进行测试。用内部示例进行微调，通常能明显改善效果。

需要专用显卡吗？

不一定。经过量化的模型可以在现代 CPU 或笔记本和手机内置的 AI 芯片上运行。若服务器上请求量很大，显卡仍有助于缩短响应时间。

小模型会取代大模型吗？

更准确地说，两者是互补关系。小模型接管高频的常规任务，而大模型仍用于疑难和开放式的情况。

试点需要多长时间？

对于单一功能，在准备好数据集的情况下，比较测试通常几周内即可完成。最耗时的往往是准备样例和正确答案。

结论

小型语言模型不是大模型的替代品，而是处理狭窄、重复、数据敏感或必须离线运行任务的合适工具。从一个高频流程入手，用真实数据建立测试集，将小模型与作为参照的大模型进行比较，然后选择在质量、成本与隐私之间最为平衡的架构。循序渐进，AI 功能就会变得更快、更省钱，也更容易说清楚。