大数据实践之路:数据中台+数据分析+产品应用
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

第4章 数仓模型中心

数仓开发人员在进行日常维护时发现,有一个任务消耗的资源非常多,影响了其他数仓的任务,他在检查后发现该任务是计算每月的会员销售额。这个任务是阿北创建的,但是由于阿北不具备专业技术知识,没有考虑到性能的问题,而且数据是直接从原始数据开始加工的,因此SQL用了多层嵌套,导致资源被消耗了很多。于是,他把这个问题反馈给了小风,小风找来老汤姆和阿北,一起讨论如何解决这个问题。

小风说:“数据分析部门经常从原始数据开始清洗、加工指标,这样做不规范,是不是把原始数据的访问权限收回来比较好?”

阿北反驳道:“但是现在并没有复用的数据,我们都需要自己去处理。如果提出开发公共表需求,就需要很长的排期,还不如我们自己去清洗数据。”

这时老汤姆止住了他们的对话,说:“你们说的问题确实都存在,主要根源在于没有对数据模型进行开发流程的规范化,只要把数据模型的开发流程固化成产品的功能步骤,就可以解决这些问题了。”