第一节 大数据时代

一、大数据时代的背景

近些年，云计算、物联网和移动互联网、社交媒体等新型信息技术和应用模式快速发展，信息技术渗透进人类世界的政治、军事、生活等各个领域，并与之不断融合，数据成为又一个重要的生产要素，成为人类生产活动必不可少的一部分，人类活动产生的数据量飞速增长。可以说，人类社会已经迈入一个新的时代——大数据时代。

全球知名的咨询公司麦肯锡最早提出了“大数据时代”的到来。麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率的增长和消费者盈余浪潮的到来。”如今，“大数据”已经成为热度最高、人们最关注的IT词汇之一，大数据与各个传统的应用领域相结合，带来了更多的新技术和新模式，引发了新一轮创新浪潮。为了更好地对大数据进行处理加工，挖掘其更多的价值，数据仓库、数据分析、数据挖掘等相关技术被广泛应用于大数据处理分析过程中，大数据及其相关技术已经成为各行各业重点关注和讨论的对象。其实早在1980年，著名的未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，就将大数据热情地赞颂为“第三次浪潮的华彩乐章”。

大数据并不是一个新鲜的词汇，事实上，大数据之前在生物学、环境生态学等领域以及金融和通信等行业已经有了相当一段时间的应用，但在非相关领域的热度并不高。直到2009年，互联网行业蓬勃发展，大数据逐渐成为互联网和信息技术行业的热度词汇后，才开始更多地进入人们的视野。到了2012年，大数据一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。如今，大数据及其相关技术受到媒体、政府以及各个行业领域的高度关注，无数专栏封面和新闻都少不了大数据及其相关技术的身影，而时兴的互联网主题相关讲座和报告等也都愿意以它为主题，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。

数据正在迅速膨胀，它决定着许多传统行业的未来。早在2012年，世界上的数据量已经从TB级别跃升到PB、EB，乃至ZB级别。国际数据公司（International Data Group）的研究表明，2009年的全球数据量为0.8ZB，一年后这一数据增加了0.3ZB，到2011年数据量一度攀升至1.82ZB，这是一个非常庞大的数字，相当于全球每人一年产生200GB以上的数据。而根据国际权威机构Statista的预测，到2035年，全球数据产生量将达到2142ZB，全球数据量的规模将会出现爆发式增长。据美国互联网数据中心报道，如今，互联网上的数据几乎每年增长50%，每两年便翻一番。当然，互联网数据并非单纯指互联网上存在的数据，还包括一些信息采集设备上传的数据。全世界的各类设施设备、人们的一些可穿戴设备上有着无数用于数据采集的传感器，这些传感器能实时采集设备以及环境的时间、地理位置等，也产生了海量的数据。

大数据作为一种新的资源和生产要素，所具有的潜在的巨大价值逐渐被人们发掘和认可。虽然现在各个领域尚未深刻意识到大数据时代数据爆炸性增长带来的机遇和挑战，但是随着时间的推移，人们将越来越多地意识到数据对各个行业的重要性。大数据时代已经来临，在商业、经济及其他领域中，基于经验和直觉的决策不再被封为圭臬，相反，基于数据和分析的决策将越来越多地得到人们的认可。哈佛大学的社会学教授加里·金形容：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”然而，大数据及其相关技术更为重要的含义在于对大数据进行专业的处理和利用，进一步发掘大数据中蕴含的大量价值，而非仅仅收集和存储大量的数据。从产业角度看，大数据作为一种新型产业，其实现盈利的关键，就在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。当然，大数据不仅对商业领域造成了巨大影响，在政治和社会文化以及其他传统领域同样带来了巨大变革。大数据相关技术让大量的数据成为新的重要生产要素，它通过技术的创新与发展以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法，使人们更多地基于事实与数据做出决策。这意味着社会不再仅仅依赖经验和惯性思维进行管理和运作，遵循数据的管理和运作模式将逐渐成为社会主流。

二、大数据时代的巨大变革

大数据时代的到来不仅将改变人们的生活方式和思维模式，还将进一步带来企业和国家核心竞争力结构的改变，并将带来人类管理层面的巨大变革。

（一）大数据时代的思维变革

对于大数据的把握，更多的在于挖掘和理解数据和信息内容及信息与信息之间的关系，这个问题一直是大数据以及一些相关行业关心的重点。人类社会对数据的使用已经有相当长的一段时间了，包括一些日常进行的大量非正式观察，以及过去几年中相关行业的研究者们在专业层面上用高级算法进行的量化研究，都是围绕数据展开的。

大数据时代，专业的数据处理技术使得规模庞大的数据的处理迅速并且高效，即使是千万级别的数据量也能够在转瞬间处理完毕。然而数据量的庞大并不是大数据的重点，人们更加关注从大量数据中提取出有价值的信息，如何能让数据“说话”，才是大数据的核心意义。实际上，大数据与三个重大的思维转变有关，这三个转变是相互联系和相互作用的。

首先，从数据分析的角度来说，要完成从“小样本”到“整体”的转变，要分析与某事物相关的所有数据，而不是只分析少量的数据样本。其次，关于数据的质量，数据的精确性不再是唯一标准，多样化、异构的数据同样值得分析和处理。最后，也是最为关键的一点，在思维上需要产生转变，不再探求难以捉摸的因果关系，转而关注事物的相关关系。

（二）大数据时代的商业变革

大数据时代来临，人们将越来越多地从数据的角度来审视现实世界，世界由无数信息构成，蕴含着规模庞大的等待挖掘的数据，这是一种可以渗透到所有生活领域的世界观。在可以预见的将来，数字化技术将会对众多传统行业产生巨大影响，例如，数字化的信息传播将以最快的速度不断刷新人们的认知，而传统的印刷以及媒体行业必将面对数字化技术带来的挑战。同时，由于数字化技术赋予了人类数据化世间万物的能力，它也推动了互联网发展的新业态。在商业领域，大数据正被用来创造新型价值，可以肯定的是，经济正在渐渐开始围绕数据形成一种新的形态，很多新参与者可以从中受益，而一些资深参与者则可能会找到令人惊讶的新生机。可以说，数据是一个平台，因为数据是新产品和新商业模式的基石。

除此之外，大数据同样对企业竞争力甚至是行业结构产生了巨大影响，大数据时代的数据将会成为企业核心竞争力的重要组成部分。当然，具体的影响程度因公司而异。在更高层面上，大数据也会撼动国家竞争力。从大数据的角度出发，工业化国家因为掌握了数据以及大数据技术，所以仍然在全球竞争中占有优势。然而，这个优势很难持续。就像互联网和计算机技术一样，随着这些技术在世界范围内逐渐普及，预先掌握大数据技术并处于领先地位的优势将会逐渐被掩盖。对于处于竞争当中的无数国家和企业来说，大数据将会带来新的机遇和挑战，如果一个公司掌握了大数据，那么超越竞争对手甚至是达到使其难以望其项背的水平也绝非不可能完成的工作。

（三）大数据时代的管理变革

大数据作为一把双刃剑，在为我们的生活提供便利的同时，也让保护隐私的法律手段失去了应有的效力。大数据时代的隐私保护无论是在相关技术还是规章制度方面都存在一定的缺失，这是大数据时代面临的一大重要问题。同样，通过大数据进行预测，对于一些未来可能发生的事情进行筹备或者遏制，也成为相关领域人们争论的焦点，从某种程度上说大数据向人类的意志自由发起了挑战，这就使得人们在使用大数据及其相关技术的同时必须杜绝对数据的过分依赖，以防我们重蹈伊卡洛斯[1]的覆辙。人类社会不能像过分相信自己的飞行技术的飞行员，犯下由于误用了数据而落入海中的错误。

我们在生产和信息交流方式上的变革必然会引发自我管理所用规范的变革。同时，这些变革也会带动社会需要维护的核心价值观的转变。大数据时代由于大数据而产生的风险是前所未有的全新挑战，在原有制度的基础上添加新的制约或条件是远远不足以应对新挑战的，因此，我们需要全新的制度规范，而不是修改原有规范的适用范围。对于涉及个人隐私或商业机密的数据处理工具，需要制定相关政策约束其权力并使其承担相应责任。同时，社会需要重新定义公正的概念，在保证人们自由权利的同时，也相应地为享有这些权利而承担责任。大数据相关的新领域专家和行业机构需要设计复杂的程序对大数据进行解读，挖掘出其潜在的价值和结论，并将这些结论用于支持受到大数据影响的人们。对已有的规范进行修修补补已经不够了，制度需要推陈出新。

大数据不仅与许多日常问题息息相关，更将重塑我们的生活、工作和思维方式。大数据在为人们带来巨大便利的同时也引发了很多争议和挑战，这种挑战不仅仅是数据和信息规模的爆炸式增加，而是一些根本性的问题发生了变化，过去确定无疑的事情当下正在受到质疑。大数据需要人们重新讨论决策、命运和正义的性质。人们的世界观正受到相关性优势的挑战。应对大数据带来的巨大变革和挑战，没有万无一失的方法，必须建立规范自身的新准则。随着相关技术的发展和成熟，人们将更好地把握大数据，了解其特征和缺陷，从而做出一系列改变。