理论篇

第一章
大数据概述

一、大数据概括

当前，以大数据、云计算、移动互联网等为代表的新一轮科技革命席卷全球，正在构筑信息互通、资源共享、能力协同、开放合作的新体系，极大地扩展了各行业的创新与发展空间。大数据技术的发展驱动传统行业迈向转型升级的新阶段——数据驱动的新阶段，这是新的技术条件下生产全流程、全产业链、产品全生命周期的数据可获取、可分析、可执行的必然结果，也是传统行业隐性知识显性化不断取得突破的内在要求。习近平总书记强调，“大数据发展日新月异，我们应该审时度势、精心谋划、超前布局、力争主动，深入了解大数据发展现状和趋势及其对经济社会发展的影响，分析我国大数据发展所取得的成绩和存在的问题，推动实施国家大数据战略，加快完善数字基础设置，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国社会经济发展和人民生活改善”。习总书记这段话深刻阐释了以大数据为代表的新一代信息技术融合创新技术推动数字经济、实体经济转型升级的发展方向，也充分体现了大数据作为一种新的资产、资源和生产要素，在社会经济生活创新发展中的重要作用。

那么什么是大数据？从2001年“大数据”一词在Gartner的研究报告出现至今，业内对“大数据”一词的定义仍未统一。Gartner给出了这样的定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。麦肯锡全球研究所对“大数据”给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。国际数据公司（IDC）从大数据的4个特征来定义，即海量的数据规模（Volume）、快速的数据流转和动态的数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。维基百科对“大数据”的定义是“无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合”。

大数据是一个宽泛的概念，见仁见智。上面几个定义，无一例外地都突出了“大”字。诚然，“大”是大数据的一个重要特征，但远远不是全部。认识大数据，要把握“数据源、大数据硬件、大数据技术、大数据交易、大数据应用及衍生”等六个层次。大数据是具有体量大、结构多样、时效强等特征的数据；处理大数据需采用新型计算架构和智能算法等新技术；大数据的交易需要对数据脱敏、定价，大数据的应用强调以新的理念应用于辅助决策、发现新的知识，更强调在线闭环的业务流程优化。因此说，大数据不仅“大”，而且“新”，是新资源、新工具和新应用的综合体。