第3章 财政数字化转型项目需求规格说明
3.1 财政数字化转型项目建设需求
随着财政改革力度的推进与加深,财政相关业务逐渐完善,业务范围涉及全国各级组织单位,数据资源种类繁多,每日新增数据呈现兆级的爆炸性增长趋势。财政数字化的发展,对数据的采集、存储到最后的数据检索与可视化等各个流程,都提出了全新的要求。
3.1.1 实现财政大数据采集
鉴于财政业务相关数据具有数量众多、种类广泛、更新频率高、数据格式多样化等特点,财政相关数据采集技术应当进行改善。从工具角度来看,采集工具应当包括且不局限于Web网页(Web Page)、手机App(Application,应用程序)、财政相关单位内部系统、外部数据API等;从数据种类来看,涉及数据应当包括MySQL(关系型数据库管理系统)数据、Excel文件以及以数据报表为代表的结构化数据,以Json机器日志文件为代表的半结构化数据,需要后期处理转换的图片、视频、音频等非结构化数据;从数据时效性出发,数据应当涵盖财政管理操作日志等实时性数据文件、相关项目监控日志等半实时性数据文件以及其他的半静态数据文件和全静态数据文件。在数据采集过程中,力求保证数据的多层次、多样化以及高并发特点不会影响到业务需要,从而保证数据采集工作的质量与高效。
3.1.2 实现财政大数据存储
目前,财政数字化平台搭建中关于数据存储部分的主要难题还是在于数据量大的问题,并且随着财政业务每天输出的大量数据,这一现状将逐渐加剧。对于财政数字化的转型来说,万亿字节以上的存储容量是必需的,同时需要预留足够的空间以满足每日新增的千兆级的财政相关数据。同时,由于当前财政数据管理系统不统一导致数据存储形式多种多样,因此在不同财政数据系统合并数据时往往会出现数据格式不一致的问题,故财政数字化平台应当建立起统一的数据转换机制,使得财政数据能够以标准化的格式存储于数字平台中。
3.1.3 实现财政大数据检索
由于财政业务逐渐完善、细化,对于财政相关数据的检索需求逐渐呈现个性化发展趋势,并且对数据检索的响应速度也提出了更高要求。财政数字平台中的数据检索功能,不再仅仅局限于简单的关键字匹配服务,还应当提供更加个性化的条件筛选、模糊查找以及正则匹配等多种数据检索服务;同时,面对千兆级增长的财政数据,平台检索速度不能因此有所降低,相反应当通过改善检索技术,升级相关数据存储机制,尽可能地减少响应时间,提升数据检索效率,确保数据检索的高并发性能。
3.1.4 实现财政大数据分析
财政数据遍布全国,涉及多部门,导致数据分析工作消耗大量计算机内存,相应的技术需求门槛也随之提升。财政数字化平台应当充分利用Hadoop分布式架构的优势,针对海量数据实现高维数据的实时运算,鉴于其占用硬盘空间较大的问题,可以将数据上传至云端以便数据存储与数据运算。另外,在数字平台中针对目标数据进行分析,可以考虑结合深度挖掘、大数据、机器学习等大智移云技术,创建相应运算模块,简化数据分析工作流程,为数据分析工作提供新思路。
3.1.5 实现财政数据可视化
面对种类繁多的财政相关数据,经过数据分析处理后输出的分析结果应当以更加直观明了的可视化图形界面进行展示,根据数据不同维度输出相应含义的统计图形。相较于传统的数据展示,数据可视化逐渐成为一种数据展示工具,拥有更高的复杂度以及开发量,能够实现数据与图表的有机结合,根据业务需要确定具体的数据展现方式,从传统的二维数据展示拓展到更加全面的多维数据展示,并且,应当附带更加智能且人性化的人机交互功能,以提高数据分析结果的实用性和有效性。
3.1.6 实现财政大数据挖掘
伴随着财政业务产生的相关数据日益增加,财政实践活动与相关业务数据的结合日益紧密,借助于大智移云技术的优势,建立财政数据云平台,有利于对传统数据处理方式无法处理的各类数据库、Excel结构化数据进行深度挖掘,并根据具体的数据处理规则针对半结构化数据进行解析,而对于欠缺解析规则的非结构化数据,则借助于流式计算、数据分布等大智移云技术手段分析其数据逻辑与关联。针对财政数据进行必要的数据挖掘,有利于财政业务部门根据场景需求与业务需要进行数据分析,充分发挥相关数据资源的价值与作用,为后续的财政决策、财政核算等一系列工作提供有效的数据支持。
3.1.7 实现财政智能化决策
随着财政改革的不断深入,财政决策越发凸显其重要性。借助于大智移云技术,财政数字化平台能够通过互联网、物联网等不同数字媒介获取数据信息,并与财政部门、金融机构等财政业务相关部门达成数据共享,为财政决策合理化提供数据支持;同时,财政决策更加需要的是对海量数据的筛选、处理操作,利用大数据技术获取决策需要的业务相关数据资源,为政策执行者提供个性化的数据检索服务,并结合适当的数据加工模型进行数据处理,进而通过图表等可视化的方式展现数据,提供合理的政策建议,以进一步推动财政决策的数据可靠性及其效果预测的科学性。