中型企业的数据仓库与商业智能：用于决策的单一事实来源

在某个阶段，成长中的企业会遇到一个奇怪的问题：到处都是数据，简单问题的答案却很难得到。上个月每个产品的利润是多少？哪些顾客最赚钱？哪个分店的增长放缓了？每个问题都需要几次导出、手工合并，以及关于哪个数字才对的争论。

收银台、网店、ERP 和 CRM 等运营系统，是为运行交易而设计的，而不是为跨系统回答分析性问题。当人们强迫这些系统报告一切时，结果就是缓慢、相互矛盾的报表，并且拖累本该服务顾客的系统。

数据仓库与商业智能（常缩写为 BI）是把分析需求与交易系统分离的一种方法。本文为企业主和非技术经理解释这个概念：什么是数据仓库，中型企业何时需要它，如何逐步起步，以及要避开哪些陷阱。没有编造的数字，提供的是可以调整的框架。

摘要

• 数据仓库把来自各个系统的数据汇集到一个为分析而设计的地方
• BI 把这些数据变成用于决策的报表和仪表板
• 从业务问题出发，而不是从技术或工具出发
• 共同约定的数字定义，比漂亮的图表更重要
• 逐步建设，并从一两个最有价值的领域开始

为什么运营系统的报表不够用

运营系统管理今天发生的事：新订单、库存减少、付款进来。它们被优化为快速而准确地记录。要回答诸如过去两年各类别的销售趋势如何这样的问题，需要截然不同的工作，而且常常会拖慢正在服务顾客的系统。

另一个问题是碎片化。销售在收银和网店系统里，成本在 ERP 里，客户关系在 CRM 里，广告在别的平台上。有意义的业务问题几乎总是跨越多个系统，例如扣除所有成本后每个渠道的净利润是多少，或者哪些广告带来的顾客后来再次购买。

结果，人们在电子表格里自己制作报表。每张表格的定义和数据都略有不同，于是会议时间都花在争论数字上，而不是决策。问题不是缺少数据，而是缺少一个共同认可的单一事实来源。

什么是数据仓库和 BI

数据仓库是一个集中的存储，容纳来自各个源系统的数据，经过清洗、对齐和整理，便于分析。它保存长期历史，而不只是当前状态，因此你可以跨时期比较并看到趋势。

商业智能是利用这些数据的一层：报表、仪表板和分析，帮助人们理解绩效并做出决策。它包括可视化工具，但也包括指标定义、访问权限，以及在会议和日常工作中使用数据的习惯。

• 数据源：收银台、网店、ERP、CRM、广告平台和辅助文件
• 提取与加载：按计划从数据源拉取数据的流程
• 清洗与对齐：统一编码、名称、单位和定义
• 分析存储：为跨时间、跨系统的问题而设计的仓库
• 呈现：面向业务用户的报表和仪表板

你的企业已经需要它的迹象

• 编制月度报表要花几个工作日，且涉及大量手工导出
• 不同部门对同一个问题给出不同的数字
• 跨系统的问题不启动专门项目就无法回答
• 繁重的报表在高峰时段拖慢交易系统
• 重要决策仍凭感觉做出，因为数据太难获取
• 老板或经理依赖唯一一个知道如何合并数据的人

如果其中两三项让你感到熟悉，你可能已经过了电子表格方式仍然高效的节点。但并非每家企业都需要完整的数据仓库；有时直接在某个系统上做仪表板就足够了，这也很好。

从问题出发，而不是从工具出发

最常见的错误是从选择一个吸引人的可视化工具开始，然后再去找可以展示什么。更健康的做法是，先列出真正影响决策的业务问题清单，再追溯回答这些问题需要什么数据。

1. 01收集领导和经理最常问的十个问题
2. 02按决策影响和被问到的频率排序
3. 03对每个问题，记录所需数据以及它位于哪个系统
4. 04与使用者一起确定每个数字的定义
5. 05选择最靠前的三到五个问题作为第一阶段

这样，你只构建有用的东西，并能很快显示出益处。得到很好回答的问题会建立对数据的信任，而这种信任让下一阶段更容易获得支持。

数字的定义：最常见的争论来源

许多关于数字的争论，其实是关于定义的争论。销售指的是什么：折扣前还是折扣后，含税还是不含税，在下单时还是发货时计算？活跃顾客指的是什么：最近三个月内购买的，还是十二个月内购买的？

把每个重要指标的定义写进一本人人可查阅的词典，附上公式、数据来源和负责人。当定义一次确定并用于所有报表时，争论就从这个数字是什么意思，转变为我们应该为此做什么。

数据质量：常被低估的基础

再好的报表，也不会超过其下数据的质量。重复的产品编码、不一致的客户名称、格式错误的日期，或不完整的交易，都会被带过去并产生误导性的数字。

• 在源头修复：录入时就干净的数据，远比事后清洗便宜
• 为产品、客户和供应商等主数据指定负责人
• 安装自动检查来发现异常，例如负值或不寻常的激增
• 记录数据的来源和更新时间，让用户知道数字有多新
• 为用户提供报告看起来有误的数字的途径

把发现的数据问题当作有用的信息，而不是需要掩盖的错误。往往正是构建 BI 的努力，才首次让数据质量问题显现出来，这是一个宝贵的附带收获。

技术方案的选择

没有适用于所有情形的单一答案。选择取决于数据源的数量、数据量、团队的专业能力和预算。

直接建立在单个系统之上的仪表板

如果大部分问题只涉及一个系统，例如已经存储了销售、库存和财务的 ERP，其内置的报表和仪表板可能就足够了。这是最快且最便宜的选择，没有理由增加尚不需要的复杂性。

简单的分析数据库

按计划把几个系统的数据复制到一个独立的数据库中，然后把可视化工具连接上去。这种方式把分析负载与交易系统分开，并且无需搭建庞大的架构即可实现跨系统合并。

带有受管流水线的完整数据仓库

对于数据量大、来源多、分析需求复杂的情形，带有定时加载流水线、对齐层和治理机制的数据仓库就变得合理。它需要更多的投资和专业能力，因此应在早期阶段的益处得到证明之后，逐步达到。

设计真正会被使用的仪表板

许多仪表板在满怀热情中建成，随后被抛弃。原因通常是相同的：图表太多，不清楚是为谁而做，也不指向行动。被使用的仪表板，是以特定的用户和决策为出发点来设计的。

• 确定用户是谁，以及仪表板帮助哪些决策
• 顶部显示少量关键指标，细节放在下方
• 提供背景：与上一时期、目标或平均值的比较
• 使用合适的图表类型，而不是最抢眼的
• 提供有用的筛选，例如按分店、类别和时期
• 注明数据更新日期和指标的简短定义

与真实用户一起测试。请他们用仪表板回答真实问题，你在一旁观察。令人困惑的部分很快就会显现，小小的修正往往能显著提高使用率。

示例：拥有多个渠道的门店网络

设想一家零售企业，有五家实体店、一家网店，并通过电商平台销售。每个渠道都有自己的系统。老板想知道扣除所有成本后哪个渠道最赚钱，以及哪些产品应该缩减。每个月，一位分析师要花好几天合并来自各处的导出文件，结果仍然受到质疑，因为各渠道对销售的定义不同。

采用逐步的方法，他们从一个问题开始：每个渠道每个产品的毛利润。来自所有渠道的销售和商品成本数据，按计划被拉取到一个数据库中，产品编码被对齐，销售的定义得到约定。一个简单的仪表板展示结果，每天早上刷新。

第一批结果令人惊讶：一些在电商平台上看起来畅销的产品，在扣除佣金和退货后几乎不赚钱。定价和报价的决策随之改变。这一好处得到证明之后，后续阶段，例如跨渠道的顾客分析和库存预测，更容易获得支持。

估算成本与分阶段选择

数据项目的成本通常由几个部分组成：构建数据提取流水线、对齐和建模、可视化工具、基础设施，以及业务团队用于确定定义和测试结果的时间。最后一项常被遗忘，却最能决定成败。

因此，要按小阶段规划，并使结果可核查。每个阶段应回答一组业务问题，并有明确的成功衡量标准，例如缩短的报表准备时间，或此前不可能做出的决策。

也要考虑持续的成本：源系统变化时对流水线的维护、工具更新，以及不断增长的用户需求。从一开始就列入预算，让系统不会在初始项目完成后腐烂。

访问、安全与隐私

数据仓库汇集来自许多来源的敏感信息，因此它既是有吸引力的攻击目标，也是重大的责任。实行基于角色的访问：分店经理查看自己的分店，财务查看财务数据，顾客的个人数据仅限于有需要的人。

减少分析中不需要的个人数据。趋势分析往往不需要顾客的姓名或联系方式，只需经过脱敏的标识符。遵守适用的个人数据保护规定，并出于审计目的记录谁访问了什么。

也要规划备份和恢复。历史数据是无法重新创造的资产；失去它意味着失去跨年度比较的能力，这对规划非常有价值。

建立使用数据的文化

技术只是一半的工作。另一半是人们的习惯。如果会议仍凭意见进行，而仪表板无人打开，你的投资就得不到回报。从小习惯开始：每次会议开始时打开相同的数字，询问什么变了、为什么，并把决策连同其数据一起记录下来。

• 领导者以身作则，在讨论和决策中引用数据
• 培训业务用户阅读并向数据提问，而不只是接收报表
• 庆祝因数据而改善的决策，无论多小
• 接受数据有时会显示令人不快的事情，不要惩罚报信的人
• 定期回顾哪些报表没人使用，并停用它们

常见错误

• 在不知道要回答什么业务问题之前就购买昂贵的工具
• 在没有能快速显示益处的早期阶段的情况下，构建大型数据仓库
• 让每个部门各自定义数字
• 忽视数据质量，直到报表受到质疑
• 制作满是图表却不指向决策的仪表板
• 没有指定数据负责人和流水线维护者，导致一切腐烂

本周就能开始的第一步

1. 01收集最常被问到且不易回答的十个业务问题
2. 02对最靠前的三个，记录需要什么数据以及它位于哪个系统
3. 03写下关键数字的定义，并与使用者达成一致
4. 04检查现有系统是否已提供能回答这些问题的报表
5. 05如果没有，设计一个小的第一阶段：一个领域、几个指标、一个仪表板

结语

数据仓库与 BI 并不在于炫目的技术，而在于让组织有能力迅速而可靠地回答自己的问题。当来自各个系统的数据以约定的定义汇集一处，决策就变得更快、更从容。

从最重要的问题开始，适度构建，让真实的益处决定下一步。及早养成使用数据习惯的中型企业，会更好地应对增长，因为它们的决策建立在完整的图景之上，而不是碎片。