区块链让大数据更有价值
大数据是移动互联网时代经常被提到的一个词。大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。它是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。它具有数量大、速度快、种类多、价值密度低、真实性高等特性。
大数据并不只是数据多而已,它的技术具有战略性的意义,因为它能够对这些数据进行一番专业化的处理。也就是说,大数据是对数据进行加工的一种能力。数据自己并不会主动产生价值,但是对数据进行整理之后,它就可以反映出很多事实,价值也就提升了。数据处理的能力越强,数据的价值被挖掘的也就越大。
大数据的总体价值非常深厚,值得我们去努力挖掘。它包括了结构化、半结构化以及非结构化的数据内容,其中非结构化的数据在大数据中所占的比重越来越高。在IDC(互联网数据中心)的相关调查中可以看出,在企业当中,非结构化数据所占的比重在80%左右,并且这些数据的增长也是很快的,每年按指数增长约60%。
大数据看似很神秘,好像是一种特别神奇的技术。其实它只是将众多的数据集合了起来,是一种表面上的现象而已。在它的表象之下,支撑它的还是以云计算等为主的各种技术。通过技术,将大数据内容利用起来,这才使得大数据有了它现在的价值。
有人将数据比喻成煤矿,它的价值很高,现在并没有被完全挖掘出来。谁能够将大数据的价值充分挖掘出来,谁就能够创造出更多的价值。随着各行各业对大数据技术的不断开发,大数据所能产生的价值会越来越大。
大数据能够帮助人们掌握更多的数据,并对这些数据进行分析,于是人们看问题会更加透彻,决策也会更加科学合理。从战略的层面来看,这让很多事情都变得简单起来,让人们不受表面现象的影响,看到事情的本质。
在技术层面分析,大数据是不能用一台计算机来进行处理的,因为它的数据量太庞大了。大数据要和云计算联系起来,才能发挥出它的价值。云计算是一种分布式计算,通过网络将大数据处理程序分解成很多小程序,然后由多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
区块链技术就是分布式的,这和云计算很相似。云计算可以对大数据进行分布式数据挖掘,让大数据能够正常运行,区块链则可以让大数据发挥出更大的价值。
区块链技术是一种非常安全的技术,当大数据和区块链技术结合起来,人们就可以对数据真正放心了。大数据加上区块链的不可篡改性,数据就更值得我们去信任,在做决策时可以充分相信数据所反映出来的情况。
在使用大数据时,由于数据是海量的,所以对储存能力的要求比较高。这个储存需要有弹性,当储存少量的数据时,它可以做到,当储存海量的数据时,它也能够胜任。区块链作为一个分布式账本,它本身就是一种持续增长的、以一定序列形成区块的链式数据结构,需要网络里的很多节点共同参与数据的运算与记录,还要对数据信息的真实性进行检验。区块链和大数据有很多相似的地方,用区块链来承载大数据,是简单易行、顺理成章的方案。
与中心化的数据库相比,区块链这种去中心化的数据库更加安全。对于传统的互联网技术来说,区块链是进行了补充和升级。对于大数据来说,区块链也能够让它变得更加先进和安全。
对大数据进行挖掘和分析,是一种数据密集型的计算,它对分布式计算能力的要求很高。对此来讲,可靠性高、容错性高很重要,任务调度和节点管理也同样是很重要的技术。在这方面,一些搜索引擎做得比较不错。比如,国外的搜索引擎谷歌,它在分布式计算技术方面发展得很好,算得上是行业中领先的水平。它通过添加服务器节点可线性扩展系统的总处理能力,在可扩展性方面的优势很大,同时也将成本控制在比较低的水平。区块链技术当中的共识机制,能够让众多的节点形成共识。这不但使得新数据的生成更容易,也能够防止数据被人篡改。对于大数据来说,这也让分布式计算变得更加合理与安全。
区块链技术能够给大数据带来非常多的帮助,如果大数据和它结合起来,必将有进一步的发展,而且发展的幅度可能会很大。不过,大数据和区块链技术的结合也存在一些需要解决的问题。大数据需要有海量的数据,这对于储存量的要求是很高的,而区块链能够承载的数据却不是很多。所以真正要将区块链和大数据结合起来,还需要突破一些技术难题。
大数据和区块链有很多相似的地方,但它们也存在一些区别。区块链的结构很严谨,它是由众多节点构成的链,属于结构化数据,而对大数据来说,所需处理的数据大部分是非结构化的数据。在区块链当中,每一个节点的数据都是相对独立的,而大数据当中的数据则需要集中起来进行分析与整合。区块链只是对数据进行储存,而大数据除了要将数据集合起来,更重要的是对数据进行处理。
大数据+区块链
总体来看,区块链技术和大数据存在一些共性,也存在一些区别。区块链的安全和可信任的属性,能够让大数据变得更令人放心,进而促进大数据技术的发展。对于大数据的规范化使用、精细化授权等各方面,区块链也能起到很好的作用。区块链是一个非常好的账本,大数据则是对数据进行分析,两者结合起来,对于大数据有非常大的帮助,到时候大数据的价值会得到更深层次的挖掘。