第4章 基于大智移云技术的财政数字化转型平台总体建设方案
4.1 财政数字化转型平台部署架构设计
整个财政数字化技术部署架构分为数据源、服务器集群数据处理与存储、数据库、数据接口(API)、数据门户5个方面,完成财政支出、经济运行、社会发展、精准扶贫等财政相关数据的收集、处理、存储与可视化。
(1)数据源 数据源包括AGENT和CMDB,其中AGENT表示非数据库数据的内外部系统数据,包括财政数据特征、财政需求、经济运转、Wind API、社会监控等信息;CMDB表示数据库结构内外部数据信息,包括财政部门组织架构、工作职责、考核要求等静态数据。
(2)集群 集群是指功能相同,组合在一起扩大其功能的一组服务器。Kafka集群作为数据管道,实时传输财政管理相关数据。CDH集群用于将半结构化数据转化为结构化数据,用于将秒粒度的数据聚合为分钟、小时、天粒度的数据。MPP集群开拓分布式空间,可以是实体服务器,也可以是云端服务器,用于保存财政相关数据。ELS集群用于财政相关数据的多维快速全文检索。
(3)数据库 小批量保存财政管理可视化的定制化图形与报表数据。
(4)数据接口(API) 获取外部特定数据的通道,比如Wind金融终端、百度地图、天气预报、统计年鉴等数据。
(5)数据门户(TOMCAT Web)网络页面端的数据开放接口,用于实现财政数据共享与开发财政数据API供外部访问。
财政数字化平台部署架构设计如图4-1所示,其中Kafka是数据传输的管道,由于数据库不支持对每条数据进行一次访问,因此,通过管道将多条数据合为一条,减少访问次数。CDH是分布式的数据处理与运算框架。MPP是分布式数据库,存储大量历史数据。ELS是全文检索技术,实现大规模数据的关键字快速查找。API指数据接口。整个架构通过Kafka技术从财政部门AGENT中获取实时的数据,在CDH集群中进行解析与聚合处理,与较为静态的CMDB数据关联,保存到MPP集群中,TOMCAT Web数据门户、数据接口、数据库通过接入MPP集群获取所需的数据。
图4-1 财政数字化平台部署架构设计