自托管 LLM 还是云端 API：为企业数据选择安全的 AI 模型

在尝试用 AI 助手总结文档、回答客户问题或读取发票之后，许多企业都会遇到同一个问题：把业务数据发送到云端 AI 服务是否安全？一些 IT 团队因此提议在公司服务器上自行运行大语言模型（LLM），另一些人则认为这样做成本高、麻烦多，更愿意使用大型模型提供商的 API。

两种做法都可能是对的，取决于数据类型、使用量、团队能力以及所在行业的监管要求。本文说明自托管 LLM 与云端 API 的区别、如何诚实地计算成本、常被忽视的风险，以及目前中型企业最常采用的混合模式。

摘要

• 云端 API 以很低的前期成本提供最强的模型，但数据会离开公司的基础设施
• 自托管 LLM 让数据留在内部，但公司需要承担 GPU 服务器、安全、模型更新和专业人员的成本
• 大型提供商的企业版通常承诺不使用客户数据训练模型，足以满足许多商业需求
• 自托管通常只有在使用量高且稳定，或法规禁止数据外流时才更省钱
• 按数据敏感度分流请求的混合模式，往往是最合理的折中方案

自托管与云端 API 有什么区别？

使用云端 API 时，应用程序把文本或文档发送到模型提供商的服务器，然后接收回答。费用按 token 计算，也就是被处理的词语片段。无需维护服务器，模型由提供商负责更新。例如大型 AI 提供商的模型服务，可以直接调用，也可以通过 AWS、Google Cloud 或 Azure 等云平台使用。

自托管则是企业下载开放权重模型，即允许自行运行的模型，并在配备 GPU 的服务器上运行，可以放在自有数据中心或私有云中。数据不会离开您所控制的环境。代价是所有运维工作都由您负责：容量、安全、监控以及模型更新。

两者之间还有第三种选择：由云服务商在客户所属区域和私有网络中运行模型，例如特定区域的私有端点。这种方式往往无需自行管理 GPU，就能满足数据驻留要求。

关于隐私：数据实际上会怎样？

最常见的担忧是数据被用于训练模型或被他人读取。对于商业版和企业版，大型提供商通常会在合同中声明客户数据不用于训练，规定数据保留期限，并提供数据处理协议。但数据仍然会经过他们的系统。对于大多数商业用途，例如总结邮件、撰写产品描述或根据公开文档回答问题，这样的保护程度已经足够。

对于高度敏感或受严格监管的数据，情况则不同：医疗记录、银行客户数据、诉讼中的法律文件，或法规要求必须留在特定司法辖区的数据。在印尼，个人数据保护要求数据控制者清楚数据被发送到哪里以及依据为何。对于这类数据，自托管或位于合适区域的私有端点往往是必要条件，而非可选项。

诚实地计算成本

常见的成本比较往往只对比 GPU 租金和 API 账单，但自托管的成本远不止于此。为了公平起见，应在至少两到三年的周期内计算以下所有项目。

• GPU 服务器的购买或租赁费用，包括备用容量，避免一台服务器出问题时服务中断
• 如在自有场地运行，还有电力、制冷和机房空间成本
• 负责部署、监控和保护模型服务的专业人员
• 在更好的版本发布时测试和更新模型所需的时间
• 非高峰时段的闲置容量，因为 GPU 即使不用也要付费
• 集成、日志记录和访问控制的成本，而 API 已经部分自带这些功能

另一方面，API 成本会随使用量增加。在中小规模下，例如每天处理数百或数千份文档，API 几乎总是更便宜。只有当 token 用量非常大且全天稳定、GPU 真正被充分利用时，自托管才开始划算。盈亏平衡点因情况而异，取决于模型大小、GPU 价格和使用模式。无论选择哪种方式，都适用与控制云成本相同的原则：按功能衡量用量、设置上限并定期审查。

模型大小影响一切

开放权重模型有多种规模。小模型可以在单块 GPU 上运行，足以胜任邮件分类、表单数据提取或根据内部文档回答问题等狭窄任务。大模型需要多块 GPU，能力接近商业模型，但成本高得多。常见的错误是直接选择最大的模型，而实际上经过良好调优或指令设计的小模型就能完成任务。

质量与能力

在需要长链推理、高质量写作、理解混合语言以及复杂工具调用的任务上，领先的商业模型仍然更强。开放权重模型在不断进步，在许多日常业务任务上差距已经很小。关键是测量，而不是猜测。准备一组来自实际工作的真实样例，例如一百封客户邮件或五十份合同文件，然后把多个模型的输出与正确答案进行比较。

语言同样重要。面向印尼客户时，要测试模型对日常用语、缩写以及印尼语与英语混用的理解能力。面向区域市场时，还要测试中文或您服务的其他语言。英语表现出色的模型，在其他语言上未必同样出色。

常被忽视的风险

自托管并不自动意味着更安全。未经身份验证就暴露在互联网上的模型服务器、未加密保存完整对话的日志，或从不更新的模型，都可能成为新的漏洞。AI 应用特有的风险，例如提示词注入与数据泄露，无论模型在哪里运行都依然存在。

• 访问失控：任何内部应用都可以无限制、无痕迹地调用模型
• 包含敏感数据的日志保存时间超过必要期限
• 依赖唯一一位了解模型服务器配置的专家
• 开放权重模型的许可证限制某些商业用途
• 依赖单一 API 提供商，价格或条款变化时没有备用方案

因此，这项技术决策应遵循已经确定的AI 使用政策与 AI 治理：哪些数据可以发送到哪里、谁可以使用、输出结果如何核查。

混合模式：按敏感度分流

许多企业最终并不只选其一，而是在应用和模型之间加入一个中间层，即网关。该层检查每一个请求，并将其路由到合适的模型。

1. 01把数据分为若干等级，例如公开、内部、机密和高度机密
2. 02确定每个等级可以发送给哪些模型：公开和内部数据使用云端 API，机密数据使用私有端点或自托管模型
3. 03在可能的情况下，把姓名、电话号码和身份证号等个人数据脱敏后再发送给外部模型
4. 04为审计记录每个请求的必要元数据，但不要超出需要地保存敏感内容
5. 05为每个应用设置成本上限和配额，并在某项服务中断时提供备用模型

采用这种模式，网站聊天机器人可以使用能力最强的云端模型，而读取员工合同或薪资数据的助手则运行在自行管理的模型上。同样的架构也便于日后更换模型，而无需重写应用。如果 AI 需要从 ERP 或 CRM 获取数据，模型上下文协议（MCP）等标准有助于以受控方式管理这些访问。

为您的企业做决策的步骤

1. 01列出计划中的 AI 应用场景以及每个场景将处理的数据类型
2. 02找出哪些场景受到限制数据位置的法规或客户合同约束
3. 03估算每月使用量及其按小时分布的模式
4. 04使用真实样本数据测试两到三个商业模型和开放权重模型
5. 05计算每个方案三年的总成本，包括专业人员
6. 06从满足要求的最简单方案开始，然后每六个月重新评估一次

对于大多数刚起步的企业，务实的做法是对非敏感数据使用商业版 API，同时确保数据准备度和治理到位。当某个应用场景已经证明有价值、使用量很大，或者数据确实不能外流时，再考虑自托管。

常见问题

自托管 LLM 能否在没有 GPU 的情况下运行？非常小的模型可以在 CPU 上运行，但速度慢，只适合低用量或试用。对于多人使用的服务，实际上需要 GPU。

通过 API 发送的数据一定安全吗？没有任何东西是绝对的。商业版提供的合同保障远好于个人版，但您仍需限制发送的数据、加密连接，并定期审查提供商的条款。

开放权重模型能否用公司数据重新训练？可以，通过微调实现。但对大多数需求而言，采用 RAG 方式把模型与公司文档连接起来，成本更低、更新更容易，也更便于审计。

部署自托管 LLM 需要多长时间？用一个小模型做试点，几天内即可完成。一个可靠、安全、受监控的生产服务通常需要数周到数月，具体取决于安全和集成需求。

结论

在自托管 LLM 与云端 API 之间做选择，并不是比较哪个更先进，而是要考虑数据、用量、团队能力和适用的规则。云端 API 在便利性和模型能力上占优，自托管在高用量下对数据的掌控更强。对许多企业来说，答案是两者兼用，并通过中间层按照数据敏感度来分流每个请求。从明确的应用场景开始，用自己的数据衡量结果，让数字来做决定。