3.1 数据架构概述
3.1.1 什么是数据架构
何谓数据架构?架构是一个古老的研究领域,很多人认为架构就是一个有关有效建造或者认识一个客观物理结构的学科。在ANSI/IEEE std l471—2000中,架构被定义为:一个系统的基本构成,是通过系统组件、组件之间、组件和环境之间的关系,以及指导设计和演进的原则来体现的。生物学、物理学、化学等基础学科研究架构问题侧重于通过提高对客观世界的抽象总结能力用以指导研究方向、提高认识客观世界的能力;建筑学、计算机科学等应用学科也研究架构问题,他们对架构的研究更侧重于根据既有的认识从主观角度引导具体的应用与实践,并由此派生出架构管理问题。
数据架构管理是IT整体规划的延伸,同时也是一个基于数据管理领域知识经验的总结,提炼指导未来数据管理的过程。数据架构管理为IT适应业务发展提供了一个战略内涵和战术弹性,使得IT可以对变化的业务环境做出快速反应,并且满足外部变化的需求。数据架构管理的核心问题是如何在效率、成本、创新支持之间取得有效平衡。与一切管理学科类似,它是艺术、科学、方法和风格的综合体。
数据架构管理聚焦于三个层面:宏观层面——数据总体视图,关注各应用系统中数据分类、分布、归属等;微观层面——具体应用系统中数据结构,关注表空间、数据库设计等;治理层面——数据管理政策、原则、规范、标准等,为宏观和微观因素的变更提供指引。这一治理框架从概念上看很普通,但实践过程往往是艰难曲折并富有挑战性的,以治理层面的规范和标准为例,同其他领域相似,首先是立法难,世界上从来就没有完美的政策框架、制度结构和监管执行;其次是执行难,太多的利益团体、短期效益、环境突变等因素都会对既有标准体系造成严重冲击。
3.1.2 数据架构的现状
我国企业信息化中,目前以应用为划分的“烟囱”结构,数据基于应用,并被锁定在应用系统中。数据并没有作为一个单独的IT组成部分被规划和设计,而是作为应用系统的一部分,由于应用系统的供应商不同,并且其设计工作也缺乏相互之间的协调,因此,数据模型基本按照各个应用系统的功能需求进行设计和实现。
由于缺乏有效的数据共享,在有些业务环节上,一方面,一个应用所需的数据无法从相关的其他应用系统中获得,而只好重复录入;另一方面,由于同一个数据可能存在多个数据源(从多个应用系统中被重复录入),由此导致了信息的不一致。
结构化数据基本上都利用数据库技术实现,非结构化数据只有少数地方使用影像技术实施了电子化,从应用程度上两者之间的集成度不高,影像工作流技术和其他应用系统之间没有做到无缝连接。
3.1.3 数据环境分类
数据存在于操作环境和分析环境中。
1.操作环境
操作环境支撑基本的业务运作。企业财务、人力资源等信息管理系统都位于操作环境。这些系统支撑基本业务运作,同时产生大量数据储存于相应的DBMS中。操作型系统一般由企业具体操作人员使用,以传统DBMS为中心进行企业日常业务处理。
2.分析环境
分析环境支撑企业的决策分析需求。在企业信息化中,经营分析系统、决策支撑系统等都位于分析环境。这些系统在整合、提炼操作环境数据的基础上支撑企业的决策分析需求。分析型系统的使用者多为企业的中高层管理者或从事数据分析的工程师,以数据仓库为中心分析数据背后的关联和规律,为企业的决策提供可靠而有效的依据。如图3-1所示,该图表示了数据架构中分析型数据。这些数据包括高层所关注的销售预测数据、销售合同数据、产销排程系统、营销模块数据、生产模块数据、财务模块数据等。
图3-1 流程制造型企业实时分析系统
3.两者关系
操作环境中的数据经过数据交换系统的抽取、整合提炼后,借助专业的数据交换系统,在分析环境中形成分析型存储,成为企业分析决策的基础,有效地支撑分析型系统的运行。
企业架构规划遵循了操作环境和分析环境分离的理念,这样有利于提升系统运行效率,改进客户感知,提高对企业决策分析支撑的及时性,如图3-2所示。企业信息化系统的增长,产生了数据多维信息查询需求,用于事务处理和用于数据分析的数据环境分离成为必然。环境分离原则,一方面保证了操作环境中数据处理的性能;另一方面,支持了分析型环境的综合性需求。
图3-2 操作型系统和分析型系统的关系
3.1.4 案例分析:商业银行企业的数据架构设计方案
1.商业银行企业级数据架构总体目标
(1)构建统一的数据平台。
(2)集成现有的核心业务系统、外围业务系统、管理业务系统、前置系统等数据,并进行一致性和完整性整合处理,按主题进行数据重组和格式转换,为银行管理层提供一个真正涵盖全部业务的统一视图,从物理和逻辑上满足数据仓库的建设要求。
2.系统设计方案
根据反洗钱的功能需求和上级监管机构对反洗钱工作的要求以及银行的内部反洗钱工作机制管理的需要,将银行反洗钱系统分为4层:数据采集层、数据存储层、信息管理层、信息报送层,并对这4个层次进行了详细的设计,如图3-3~图3-6所示。
图3-3 数据采集
图3-6 反洗钱数据上报
图3-4 数据存储
图3-5 信息管理平台功能
3.总结
该系统提供了灵活的接口进行数据采集,实现了自动化流程的数据采集、Excel文件导入等功能。并根据不同数据应用层次的需要建立不同的数据模型,依据反洗钱数据集市,对本/外币、大额与可疑交易提供交易数据的计算服务、洗钱行为的监测规则服务、反洗钱处理的流程服务。最后通过Web方式为用户提供了一个反洗钱信息处理的功能界面操作平台,对可疑的洗钱行为进行监测预警、调查分析、跟踪管理以及文件上报等反洗钱处理过程。