大数据导论
上QQ阅读APP看书,第一时间看更新

1.1 大数据时代

如今,人们已开始步入大数据时代,本节从大数据技术基础谈起,进而认识大数据引发的社会变革、经济变革和个人生活变革。

1.1.1 大数据时代的技术基础

普适计算之父马克·韦泽说:“最高深的技术是那些令人无法察觉的技术,这些技术不停地把它们自己编织进日常生活,直到你无从发现为止”。20世纪末的IT技术的老四大件,包括硬件、软件、通信和网络已经在人们的生活和社会中发挥着关键作用。现在人们又开始深度运用IT技术,新的IT四大件由大数据、云计算、移动互联网和社交网络组成,正在主宰着人们的日常生活并驾驭各个组织的运营。每个组织从技术发展和应用的特征中把握前进方向和获取竞争优势。

1.技术发展范式

英国演化经济学家卡罗塔·佩雷斯绘制了技术-经济范式演化的4个阶段,如图1-1所示。一项技术的出现首先经历爆发期,而后是狂热期,再经过一番调整进入协同期,最后进入成熟期。两个阶段之间会有狂热泡沫之后的调整期。在导入期有大量的金融资本投入到关键产业和基础设施中,此时旧有的范式进行抗争并产生矛盾冲突。这种技术-经济范式在人类经过的几次技术革命中普遍适应。例如,互联网的出现就历经了这样一个过程。

从大型计算机的诞生、微机的产生、浏览器的出现,到网络时代和大数据时代交叠与发展,阿里研究院依据国家统计局的数据绘制了近几十年内技术发展的不同时期,反映出随着时间的推移和新技术的推出,数据被利用的程度逐步加大。图1-2说明了技术的扩散和蔓延及大数据的产生。

图1-1 技术-经济范式演化图

图中每一个阶段都包括引入期、扩展期、控制期和集成期,两个相邻的阶段又有交迭,可能加速了发展的进程。从图中可以看出随着时代的进步对数据利用的价值在逐步提高。大数据时代正是走向高峰期。在此期间,各组织会从形式各样的数据中提炼、洞见出有价值内容,为决策者所用。

图1-2 技术的扩散和蔓延

数据来源:国家统计局、阿里研究院分析

以云计算、大数据、移动互联网和物联网为代表的新一代信息技术正在改变社会的运行方式,数据价值的挖掘和利用成为组织利用大数据的主要目的。

2.物联网

物联网是新一代信息技术的重要组成部分,也是信息化时代的重要发展阶段。其英文名称是Internet of Things(IoT)。物联网就是物物相联的互联网。这里有两层意思:第一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;第二,其用户端延伸和扩展到了任何物品与物品之间进行信息交换和通信,也就是物物相关。

物联网通过智能感知、识别技术与普适计算等通信感知技术,广泛应用于网络的融合中,物联网是互联网的应用拓展,与其说物联网是网络,不如说物联网是业务和应用。因此,应用创新是物联网发展的核心,以用户体验为核心是物联网发展的灵魂。

物联网是利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化、远程管理控制和智能化的网络。

物联网是互联网的延伸,它包括互联网及互联网上所有的资源,兼容互联网所有的应用,但物联网中所有的元素(所有的设备、资源及通信等)都具有个性化和私有化特征。

3.云计算

云计算的发展为整合打通业务系统、聚合数据提供了技术支撑,大数据技术综合分析并发掘数据价值、创新应用与服务,政府、企业信息化建设模式从以业务应用为中心转变为以数据为中心。企业的服务器的存储方式迅速转化为云端的存储方式。美国得克萨斯大学的研究表明,大数据技术可以有效改善企业的数据资源利用能力,提高从数据到信息的转化率,让企业的决策更为准确,从而提高整体的运营效率。表1-1所示为如果利用了大数据企业人均产出提高情况。但是目前企业大数据的利用率仅为12%左右,数据未得到充分利用。

表1-1 大数据利用后企业人均产出提高预测

物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合,也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层(数据海洋),是互联网智慧和意识产生的基础。

包括物联网在内,传统互联网和移动互联网在源源不断地向互联网大数据层汇聚数据和接收数据。大数据在移动互联网上产生的数据呈爆发式增长。

1.1.2 大数据时代的变革

大数据正在对人类活动的3个层面带来影响:大数据可能引发的社会变革、经济变革和个人生活变革。新技术的出现对各领域的冲击是超乎人们想象的。大数据时代,传统模式已不适用,整合的、跨界的管理创新模式正在形成。数据重构各产业,流量改写未来,传统的运营模式渐渐消失,逐渐变成新的运营模式。

所谓跨界变革,是指不是本专业的,全部来自于另一个领域。广告业、运输业、零售业、酒店业、服务业和医疗卫生等,都可能被新的管理模式击破,更便利、更关联、更全面的商业系统正在逐一形成。

1.大数据引发的社会变革

1)大数据将改变人类社会认识自然和宇宙的方式的深度及广度,改变人与自然的关系。大数据科学和方法及相关工具使人类了解和利用自然时更加全面,更加细化,而随着人们对大自然的更深入了解,人与大自然的关系将更加和谐,今天积极倡导的环境保护和绿色生态建设已经开始利用大数据技术手段,如地理位置信息系统、地球数据资源分析系统等都极大地提高了工作效率和精准度。

2)大数据将改变社会组织、群体结构及其联动方式。涂子沛在《大数据:正在到来的数据革命》一书中指出,“大数据时代是一个更开放的社会、一个权力更分散的社会、一个网状的大社会”。大数据使群体的存在更加多元化、灵活化、网络化、开放化。使群体之间的互动和交流更加快速化、便捷化。近几年人们越来越感觉到世界在变小,对世界的了解越来越方便,数字城市、各项社会服务功能的自动化、智能化等无不有大数据的支持。

3)大数据使社会活动和社会管理的方式发生变革。大数据使人类的活动方式如社交、消费和学习等众多方面都发生了全面变化,如社交网络形成了虚拟与现实结合的群体及其活动,电子商务带来的消费方式的变化和范围的扩展,各种“共享”活动方式等没有大数据支持是不可能的。那么,对这些新的社会活动方式的管理也必然是基于大数据的手段和方法。

大数据给人类社会的发展变化带来了机遇和挑战,人们必须面对并迎接这种挑战,从中发现机会,抓住机会,利用机会,从而不断地适应和推动社会的发展进步。

2.大数据引发的经济变革

新技术的突破对经济方面的影响也十分巨大。数据技术及与之相关的信息技术等是20世纪中叶逐渐发展和成熟起来的技术,其对经济的影响已经初见端倪,物质产品的日益丰富,更新换代的速度之快每个人都能感受到。

1)大数据将改变实体企业生产制造的方式。传统的制造方式走过了批量生产、精细生产、敏捷制造的过程,正在探寻着智能制造的方式。具体表现为:大数据为企业全过程设计、创新、生产、经营、管理、决策服务,为企业的发展战略和目标的实现服务;大数据有利于供应链的优化、产业链的完善、生态链的形成和优化;大数据预测行业和宏观决策调控的实际需求,提高行业和宏观经济管理决策质量、能力;大数据为企业、行业的装备、工艺、生产线、供应链的转型升级服务;大数据在制造业的运用将会是又一次新的工业革命而产生巨大的影响,工业4.0 或中国制造2025等是最直接的表现。

2)大数据将引发产业结构的调整和升级。

对产业的影响表现在以下几个方面。

● 运用大数据和信息技术将农业生产资料和要素整合起来,进行科学、精准的农业科研和生产,实现农业的智慧化、生态化、健康化。

● 第二产业即工业的升级,大数据加速信息化、工业化和智能化同时并举。

● 大数据在第三产业中最大的特点是服务的实时化、精准化、个性化和可追溯化。

● 大数据将打破产业之间和区域之间的界限。大数据也是一种资源,那么围绕着这种资源的竞争和价值的提升与创造,必然产生新的业态,逐渐形成一些产业。

大数据及相关技术的运用意味着一种全新的资源配置手段的出现,它的效率远远高于传统配置方法。

3)大数据引发经营管理模式和商业模式的变革。

大数据对企业的思维层面、组织层面、运作层面、经营层面和技术层面都会产生重大影响,从而导致企业经营管理和商业模式的巨大变革。表1-2列举了大数据对企业生产运营及市场方面的改变。

表1-2 大数据影响企业管理内容

这些都是大数据带来的企业经营层面的变革,也可以说是商业模式的变革,这些变革从消费者角度已经被人们越来越多地感受到了。

3.大数据引发个人生活方式变化

大数据将影响人们的思维方式和行为方式,而这两种方式是人类活动的根本特征,这两种活动方式的变化会直接表现在人类的日常生活中,体现在每个人的衣、食、住、行、工作、学习、健康、交友、娱乐活动中。

1)大数据引发的人类思维的变化,是最根本、最深远的,又是渐次的、潜移默化的。大数据之所以引发人类思维方式的变化,主要由于其本身的特点和相关信息技术引发的人们认知世界的手段和工具的改变。

舍恩伯格指出,大数据时代,人们对待数据的思维方式会发生以下3个变化。

● 人们处理的数据从样本数据变成全部数据,需要的是所有的数据,“样本=总体”。

● 由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求,只有接受不精确性,才能打开一扇从未涉足的世界的窗户。

● 人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系,人们不必必须知道现象背后的原因,而是让数据自己“发声”。

这就意味着人类在看待事物、探索世界、解决问题时的角度、方式、深度和广度等都会发生转变,从而认知的结果会产生不同。

2)大数据引发人类行为方式的变化已经越来越被人们感知,从最通俗的人类行为分类来看,人的衣、食、住、行、工作、学习、健康、交友和娱乐活动是最基本、最容易理解的行为,而这些行为在今天正发生着并将继续发生巨大的变化,且与大数据和相关信息技术息息相关。举例如下。

● 网络订餐已经把很多人吃的方式改变了,人们可以通过各种信息精心挑选适合自己的食品。

● 智能家居在每个家庭中都开始使用,使人们居住的环境更加舒适化、智能化。

● 健康运动能够随时查看自己的运动量和身体健康情况,有必要时还可以及时向健康专家咨询。

● 远程诊断。医院利用大数据可视化会诊,以及各种先进的医疗设施等,使人类对健康的理解和关心达到了一个新的层次。

● 社交网络“朋友圈”不仅是一个群体概念,而且延伸到了诸如消费、娱乐等其他方面。

总之,今天的很多人类行为都脱离不了大数据及相关信息技术的影响。

1.1.3 信息技术(IT)向数据技术(DT)的转变

IT界有句非常著名的话,称为“人类正在从IT时代走向DT时代。” IT界提到的IT是指Information Technology,即“信息技术”。那么,与此对应,DT就应该是Data Technology,即“数据技术(或数据处理技术)”。以大数据技术为代表的DT时代和过去人们所知的IT时代是两个时代。IT时代是让自己更加强大,DT时代是让别人更加强大,IT时代是让别人为自己服务,DT时代是让自己服务好别人。图1-3显示从IT时代到DT时代的技术转化。

图1-3 从IT时代到DT时代的技术转化

DT时代是一个充满流动的时代,会更加透明、利他,更注重责任和体验。

对图1-3的理解可通过表1-3进行对比加以认识。

表1-3 两个时代的比较

由数据驱动的时代商业模式将是C2B(Customer to Business)而不是B2C。IT以自我控制、自我管理为主,DT以服务大众、激发生产力为主。

大数据时代已经来临,它将在众多领域掀起变革的巨浪。大数据的核心在于为客户挖掘数据中蕴藏的价值,而不是软硬件的堆砌。因此,针对不同领域的大数据应用模式和商业模式研究将是大数据产业健康发展的关键。大数据就是互联网发展到现今阶段的一种必然产物,既不能神话它也不能谈大数据色变,在以云计算为代表的技术创新平台上,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

例如,企业应该制定大数据时代应对策略以充分利用其蕴含的商业价值。

1)应当通过云平台实现数据大集中,形成企业数据资产。通过云平台实现集团数据大集中,从而形成企业的数据资产。这是集团企业利用大数据资源的重要基础。只有把集团的信息化架构向云平台迁移,才能促使集团数据的大集中与统一管理,从而在此之上对数据资源的价值进行挖掘,促进企业数据的资产化。

2)应当深度挖掘大数据的价值,推动企业智能决策。企业应当重视对大数据价值的深入分析与挖掘,推动企业决策机制从“业务驱动”向“数据驱动”转变。可以说,数据将成为企业的利润之源,掌握了数据也就掌握了竞争力,企业必须更加注重数据的收集、整理、提取与分析。