5.3　数据中台建设中的常见问题

前文提到过，国内企业在建设大数据平台的过程中出现了很多问题，其中涉及多部门合作时问题尤其严重，例如各个部门数据重复开发、浪费存储与计算资源、数据标准不统一、数据使用成本高、业务数据孤岛问题严重、数据利用效率低等。为了解决这些问题，阿里提出了数据中台这个概念，将其作为一种新的架构方式。

那么，在数据中台建设过程中还会出现什么问题？我们根据业界数据中台的建设实践，列出了以下常见的问题。

·数据标准建立和协调困难：业务板块和业务线众多，数据标准难建立，协调扩展困难。

·技术选型困难：技术选型众多，不同业务方有不同的数据需求，技术选型时依据这些客观需求及主观偏好，会选择不同的计算框架和数据组件。

·数据需求多样：业务部门需求多样化，包括报表计算、可视化看板、数据探索、数据服务、结果推送、数据采集及迁移、A/B测试、标签体系、用户触达、数据应用等。

·数据需求多变：为应对市场的快速变化，业务方的数据需求也是多变的，看板必须能够按需调整，标签必须能自主配置，诸如此类的需求需要有大量自助工具来支撑。

·数据正确性难以确定：随着数据的复杂度越来越高，数据链条越来越长，数据源越来越多，保证数据的正确性及验证数据将成为一个很耗时的问题。

·数据管理复杂：业界对数据的可解释性、可管理性要求越来越高，各种新存储架构的加入，使得元数据管理和数据流程标准化更加复杂。

·数据安全管理复杂：如果无法保证数据安全，数据就是不可用的，数据合规使得数据安全成为刚需，这里要求能够支撑多级数据安全策略、数据链路可追溯、敏感数据可加密。

·数据权限管理：在数据赋能的体系中权限控制是很关键的功能，需要实现各种级别的数据权限，组织架构、角色、权限策略自动化，以及对新的计算架构的权限管理。

·数据成本高，难以量化：数据成本包括集群成本、运维成本、人力成本、时间成本等，持续系统地计算这些成本需要在系统架构中加入相应的统计接口，而现有的大多数平台并没有将这些接口考虑在内。