1.3 商业智能的功能与技术
1.3.1 商业智能系统的功能架构
按照从数据到知识的处理过程,一般BI系统的功能架构如图1-2所示,分为数据底层、数据分析层和数据展示层三个功能层级。其中,数据底层负责管理数据,包括数据采集、数据ETL、数据仓库构建等;数据分析层主要利用查询、OLAP(Online Analytical Processing,联机分析处理)、数据挖掘,以及数据可视化等分析方法抽取数据仓库中的数据并进行分析,形成数据结论;数据展示层用于呈现报表和可视化图表等数据见解。
图1-2 商业智能系统的功能架构
1.3.2 商业智能的主要技术
对照BI系统的功能架构,BI的主要技术也可以分为展示类、分析类和支撑类三个层级,如图1-3所示。
图1-3 商业智能的主要技术
1.展示类技术
BI最核心的技术是展示类的数据可视化技术,抛开企业数据量级的不同和深度分析的需求,数据可视化技术能够满足最基本的BI目标,即将数据转化为信息并辅助决策。数据可视化的具体形式又分为报表和可视化图表两大类,其中,报表是我国大多数企业目前采用的数据展示形式。
数据可视化旨在借助图形化手段,清晰有效地传达与沟通信息。其基本思想是,将数据库中每个数据项用单个图元素表示,并将大量的数据集构成数据图像,同时将数据的各属性值以多维数据的形式表示,从而让企业从不同的维度观察数据,对数据进行更深入的观察和分析。例如,柱形图、折线图和饼图等一些基础的图表就可以直观地展示数据。当数据较为复杂时,可以通过复杂图表搭配多样的交互效果来将数据直观化。
2.分析类技术
OLAP、数据挖掘等分析类技术能够基于现有数据帮助企业更深入地洞察。数据挖掘技术需要一定数据量的支撑,而企业不一定要等到数据量足够大时才应用BI。结合我国企业的信息化现状,数据挖掘目前并不是BI系统的关键技术需求。
OLAP主要关注多维数据库和多维分析。OLAP委员会对OLAP的定义:使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化来的、真正为用户所理解并真实反映企业特性的信息进行快速、一致、交互的存取,从而更深入地了解数据的一类软件技术。
3.支撑类技术
支撑类技术包括ETL、数据仓库、元数据管理和大数据技术等,用于管理繁杂的、不断增长的企业数据,为整个BI系统提供持续的、强力的、稳定的支撑。
数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。数据仓库的出现并不是要取代数据库。大部分数据仓库还是用关系数据库管理系统来管理的,数据库、数据仓库相辅相成、各有千秋。
ETL(Extract-Transform-Load)用来描述数据从来源端经过抽取(Extract)、交互转换(Transform)、加载(Load)至目的端的过程。它是构建数据仓库的关键环节。数据仓库主要为决策分析提供数据,所涉及的操作主要是数据查询,所以ETL在很大程度上受企业对源数据的理解程度的影响,也就是说,从业务的角度看数据集成非常重要。
大数据(Big Data)是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要在新处理模式下才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率与多样化的信息资产。顾名思义,大数据技术就是收集、存储、处理、分析大数据的相关技术。当前大部分企业已满足大数据的5V(Volume、Variety、Value、Velocity、Veracity)特征,因此,BI引入大数据技术,旨在从大数据中快速获取价值。
元数据(Metadata)又称中介数据、中继数据,用于描述数据属性,是描述数据的数据(Data about Data),主要用于识别资源,评价资源,追踪资源在使用过程中的变化,实现简单高效的大量网络化数据的管理,实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。由于元数据也是数据,因此,可以用类似数据的方法在数据库中进行存储和获取。