2.3 数据中台架构

通过前面对数据中台建设方法论体系的介绍，我们了解了数据中台的战略行动、保障条件、目标准则、建设内容和关键步骤，这一节我们将了解数据中台的总体架构、包含的功能模块、功能模块之间的关系以及运转机制。

数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变为一种业务应用能力，让数据更方便地被业务所使用。图2-7所示为数据中台的总体架构图，数据中台是位于底层云基础底座与上层业务应用之间的一套体系，包括数据汇聚、数据开发、数据体系、数据资产管理、数据应用以及数据运营体系和数据安全管理。数据中台屏蔽了底层云基础底座存储计算平台的技术复杂性，降低了对技术人才的要求，让数据的使用门槛和成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产，通过数据资产管理、治理让数据资产有序可用，利用数据应用把数据资产变为业务服务能力，服务于企业业务。数据安全管理、数据运营体系保障数据中台可以长期健康、持续地运转。

图2-7 数据中台总体架构图

1.数据汇聚

数据汇聚是数据中台数据接入的入口。数据中台本身几乎不产生数据，所有数据来自业务系统、日志系统、IoT设备、文件、互联网等，这些数据分散在不同的网络环境和存储平台中，使用成本很高，很难产生业务价值。数据汇聚是数据中台必须提供的核心工具之一，旨在将各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工和建模做准备。数据汇聚一般有数据库同步、埋点、网络爬虫、消息队列等方式，从汇聚的时效性来分，有离线批量汇聚和实时采集。

2.数据开发

通过数据汇聚模块汇聚到数据中台的数据没有经过处理，基本是按照数据的原始状态堆砌在一起的，这样业务还是很难使用。

数据开发是一整套数据加工及加工过程管控的工具，有经验的数据开发、算法建模人员利用数据加工模块提供的功能，可以快速地把数据加工成对业务有价值的形式，提供给业务使用。数据开发模块主要面向开发人员、分析人员，提供离线、实时的算法开发工具，以及任务管理、代码发布、运维、监控、告警等一系列集成工具，促进效率提升。

3.数据体系

有了数据汇聚、数据开发模块，中台已经具备传统数据仓库（后面简称为数仓）平台的基本能力，可以做数据的汇聚以及各种数据开发，可以建立企业的数据体系。前文说过数据体系是中台的血肉，开发、管理、使用的都是数据。大数据时代，数据量大，增长快，业务对数据的依赖也越来越高，必须考虑数据的一致性和可复用性，垂直的、烟囱式的数据和数据应用的建设方式注定不能长久存在。不同企业的业务不同，业务产生的数据不同，因此数据体系的建设内容也各不相同。但是不同企业的数据体系建设方法是相似的，数据要统一建设，可以遵循相似的层次划分和建模规范。笔者建议数据体系按照贴源数据层、统一数仓层、标签数据层、应用数据层进行分层，每一层按照各自的标准建模规范统一建设，具体建设方法见第6章。

4.数据资产管理

通过数据体系建立起来的数据资产较为偏技术，业务人员还是比较难于理解。数据资产管理是以企业全员更好理解的方式，把企业的数据资产展现给企业全员（当然要考虑权限和安全管控），它包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业的数据资产，方便企业全员探索数据内容，发现数据价值。

5.数据应用

前面利用数据汇聚、数据开发建设企业的数据资产，利用数据管理展现企业的数据资产，但是并没有发挥数据的价值。数据应用就是把数据变为一种业务应用能力，通过数据应用让数据参与到业务中，激活整个数据中台。数据应用是数据中台存在的价值所在。企业的数据应用是千变万化的，中台产品可以带有一些标准数据应用，但是很难满足企业的多样性数据应用的诉求，大部分应用还是需要通过中台的能力快速定制。数据中台无法自带很多满足业务需求的数据应用，而是提供一整套方便生成和管控数据应用的功能组件，方便快速打造符合业务需要的数据应用。

6.数据运营体系和数据安全管理

通过前面的数据汇聚、数据开发、数据体系、数据资产管理、数据应用，已经完成了整个数据中台的搭建和使用，也已经在业务中发挥了一定的价值。数据运营体系和数据安全管理是数据中台得以健康、持续运转的基础，如果没有它们，数据中台很可能像个一般项目一样，会在搭建起平台、建设部分数据、尝试一两个应用场景之后止步，无法正常地持续运营。不能持续发挥数据的应用价值，也就完全达不到建设数据中台的目标。数据运营体系和数据安全管理是企业数据能够被持续利用的保障，是数据中台能够持续发挥价值的关键。