大数据:引爆新的价值点
上QQ阅读APP看书,第一时间看更新

附:大数据年代记

1980年,未来学家阿尔文·托夫勒将大数据称作“第三次浪潮的华彩乐章”。

2005年,Hadoop项目诞生,从技术层面上搭建了一个使对结构化和复杂数据快速、可靠分析变为现实的平台。

2008年年末,“大数据”得到部分美国知名计算机科学研究人员的认可,业界组织计算社区联盟(Computing Community Consortium),发表了一份有影响力的白皮书《大数据计算:在商务、科学和社会领域创建革命性突破》。它使人们的思维不仅局限于数据处理的机器,并提出:大数据真正重要的是新用途和新见解,而非数据本身。此组织可以说是最早提出大数据概念的机构。

2009年年中,美国政府通过启动Data.gov网站的方式进一步打开了数据的大门,这个网站向公众提供各种各样的政府数据。该网站超过4.45万的数据集被用于保证一些网站和智能手机应用程序跟踪从航班到产品召回再到特定区域内失业率的信息,这一行动激发了从肯尼亚到英国范围内的政府们相继推出类似举措。

2009年,欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系,致力于改善在互联网上获取科学数据的简易性。

2010年2月,肯尼斯·库克尔在《经济学人》上发表了专题报告《数据,无所不在的数据》。报告中提到:“世界上有着无法想象的巨量数字信息,并以极快的速度增长。从经济界到科学界,从政府部门到艺术领域,很多方面都已经感受到了这种巨量信息的影响。”库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一。

2011年2月,IBM的沃森超级计算机每秒可扫描并分析4TB(约两亿页文字量)的数据量,并在美国著名智力竞赛电视节目《危险边缘》(Jeopardy)上击败两名人类选手而夺冠。《纽约时报》认为这一刻为一个“大数据计算的胜利。”

2011年5月,全球知名咨询公司麦肯锡(McKinsey&Company)全球研究院(MGI)发布了一份报告——《大数据:创新、竞争和生产力的下一个新领域》,从此大数据开始备受关注,这也是专业机构第一次全方面地介绍和展望大数据。报告指出,大数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。报告还提到,“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来,产生、传送、分享和访问数据的能力也得到彻底变革。

2011年12月,中国工业和信息化部发布的物联网“十二五”规划上,把信息处理技术作为4项关键技术创新工程之一被提出来,其中包括海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。

2012年1月,瑞士达沃斯召开的世界经济论坛上,大数据是主题之一,会上发布的报告《大数据,大影响》(Big Data, Big Impact)宣称,数据已经成为一种新的经济资源类别,就像货币或黄金一样。

2012年3月,美国奥巴马政府在白宫网站发布了《大数据研究和发展倡议》,这一倡议标志着大数据已经成为重要的时代特征。奥巴马政府宣布两亿美元投资大数据领域,是大数据技术从商业行为上升到国家科技战略的分水岭。奥巴马政府将数据定义为“未来的新石油”,大数据技术领域的竞争,事关国家安全和未来。国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力;国家数字主权体现对数据的占有和控制。数字主权将是继边防、海防、空防之后,另一个大国博弈的空间。

2012年4月19日,美国软件公司Splunk在纳斯达克成功上市,成为第一家上市的大数据处理公司。Splunk成功上市促进了资本市场对大数据的关注,同时也促使IT厂商加快大数据布局。

2012年7月,联合国在纽约发布了一份关于大数据政务的白皮书,总结了各国政府如何利用大数据更好地服务和保护人民。这份白皮书举例说明在一个数据生态系统中,个人、公共部门和私人部门各自的角色、动机和需求:例如,通过对价格关注和更好服务的渴望,个人提供数据和众包信息,并对隐私和退出权力提出需求;公共部门出于改善服务、提升效益的目的,提供了诸如统计数据、设备信息、健康指标,及税务和消费信息等,并对隐私和退出权力提出需求;私人部门出于提升客户认知和预测趋势的目的,提供汇总数据、消费和使用信息,并对敏感数据所有权和商业模式更加关注。白皮书还指出,人们如今可以使用的极大丰富的数据资源,包括旧数据和新数据,来对社会人口进行前所未有的实时分析。如果政府能合理分析所掌握的数据资源,将能“与数俱进”,快速应变。

2012年7月,为挖掘大数据的价值,阿里巴巴集团在管理层设立“首席数据官”一职,负责全面推进“数据分享平台”战略,并推出大型的数据分享平台——“聚石塔”,为天猫、淘宝平台上的电商及电商服务商等提供数据云服务。随后,阿里巴巴董事局主席马云在2012年网商大会上发表演讲,称从2013年1月1日起将转型重塑平台、金融和数据三大业务。马云强调:“假如我们有一个数据预报台,就像为企业装上了一个GPS和雷达,你们出海将会更有把握。”因此,阿里巴巴集团希望通过分享和挖掘海量数据,为国家和中小企业提供价值。此举是国内企业最早把大数据提升到企业管理层高度的一次重大里程碑。阿里巴巴也是最早提出通过数据进行企业数据化运营的企业。

2012年12月,英国数据战略委员会成立了世界上第一个非盈利性的开放数据协会(Open Data Institute, ODI),推动开放数据的进程。

2013年,“开放政府联盟(OGP)”的8个成员国(美国、英国、法国、德国、意大利、加拿大、日本及俄罗斯)签署《开放数据宪章》,承诺在2013年年底前,制定开放数据行动方案。截止到2014年2月,全球已有63个国家加入OGP。

2014年4月,世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告(第13版)》。报告认为,在未来几年中针对各种信息通信技术的政策甚至会显得更加重要。在接下来将对数据保密和网络管制等议题展开积极讨论。全球大数据产业的日趋活跃,技术演进和应用创新的加速发展,使各国政府逐渐认识到大数据在推动经济发展、改善公共服务、增进人民福祉,乃至保障国家安全方面的重大意义。

2014年5月,美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据:抓住机遇、守护价值》。报告鼓励使用数据以推动社会进步,特别是在市场与现有的机构并未以其他方式来支持这种进步的领域;同时,也需要相应的框架、结构与研究,来帮助保护美国人对于保护个人隐私、确保公平或是防止歧视的坚定信仰。

2014年8月,联合国开发计划署首次携手科技企业共建大数据实验室,利用大数据技术和联合国的全球发展经验,在环境保护、医疗与疾病预防、教育、扶贫等诸多领域进行深入的研究分析,推动大数据解决全球问题的创新模式,促进持续发展。

2014年,世界经济论坛以“大数据的回报与风险”为主题发布了《全球信息技术报告(第13版)》。

2015年8月31日,中华人民共和国国务院印发《促进大数据发展行动纲要》(国发〔2015〕50号)。

2016年8月26日,《大数据产业“十三五”发展规划》已经呼之欲出。此次编制的《大数据产业“十三五”发展规划》中,工业大数据、大数据资源开放共享、大数据交易、大数据安全、大数据标准、大数据行业应用等领域是研究重点。

2016年11月17日,全球大数据高峰论坛在中国青岛隆重召开。以“数据创造价值·智慧引领未来”为主题,聚焦全球大数据发展现状,致力于发现大数据与产业融合之道,挖掘大数据行业发展的未来机遇,推动大数据应用研究与信息经济进一步发展壮大。

2017年1月17日,中国工业和信息化部印发了《大数据产业发展规划(2016—2020年)》提出,到2020年,大数据相关产品和服务业务收入突破1万亿元,年均复合增长率保持在30%左右。


(1) 孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50:146-169.

(2) Antikythera mechanism[OL]. Wikipedia, https://en.wikipedia.org/wiki/Antikythera_mechanism.

(3) The End of Theory: The Data Deluge Makes the Scientific Method Obsolete[OL]. 2013,http://archive.wired.com/science/discoveries/magazine/16-07/pb_theory/.

(4) 王珊,萨师煊.数据库系统概率(第5版)[D].北京:高等教育出版社,2014.

(5) [英]维克托·迈尔·舍恩伯格,肯尼斯·库克耶.大数据时代[M].盛阳燕,周涛,译.浙江:浙江人民出版社,2013.

(6) Big data [OL]. Wikipedia, https://en.wikipedia.org/wiki/Big_data.