1.7 网络数据平台系统与应用
为了应对网络大数据的发展趋势,更好地为企业和个人提供数据分析的需求,亟需构建各类不同的网络大数据平台,支持用户对数据的多种需求。下面分别从数据平台建设,基于数据平台的高端数据分析,以及网络大数据平台的应用3个角度去总结相关的内容。
1.7.1 网络大数据平台引擎建设
构建网络大数据平台就是要将不同渠道,不同来源,不同结构的数据进行有机的整合。与传统数据平台不同的是,网络大数据海量的规模、多样的类型、快速的流动和动态的体系以及巨大的价值是大数据平台构建需要重点考虑的几个因素。除此之外,数据的分类存储、数据平台的开放性、数据的智能处理以及数据平台与用户的交互都为网络大数据平台的建设带来前所未有的挑战。网络大数据平台处理的数据类型是多种多样的。根据数据类型的不同,网络大数据平台可以分为不同的类型,比如本体数据平台、企业日常事务数据平台、流数据平台、电子商务数据平台等。目前这些平台的搭建已经具有了一些有代表性的工作。如:谷歌公司的Freebase,微软公司的Probase[68],国内著名的中文信息结构库——知网(Hownet)等。在商用数据平台,比较突出的有IBM公司的Infosphere大数据分析平台。
1.7.2 网络大数据下的高端数据分析
一个优秀的综合大数据处理平台不但可以为企业的决策和个人的生活提供服务,甚至还可以为国家政策的制定提供支持。首先,依托大数据平台,国家可以分析各实体和产业之间的关联关系,从而了解行业发展的趋势,找到影响产业发展的关键性因素,统筹规划资金、人才、技术的良性流动与优化配置。其次,大数据平台可以为企业提供巨大的商业价值。企业分析人员可以分析多种多样的内容。譬如,分析顾客偏好及顾客群体,对群体进行细分并量体裁衣般地采取独特的行动;分析具有代表性的客户群体,采取有针对性的营销策略,进行病毒式营销和模式推广;运用大数据模拟实境,发掘新的需求和提高投入的回报率,进行商业模式、产品和服务的创新等。再次,大数据平台还可以为个人的日常生活带来诸多便利。建立在大数据平台下的互联网产业,将深加工了的信息和数据主动推送给目标用户,便于用户结合自身喜好选择感兴趣的模式、产品和搭配方式。除此之外,用户还可以从大数据平台中获取更有价值的知识。通过本体知识平台,用户可以分析知识的来源、演化过程、分析知识间的因果关系、知识本身的歧义性和模糊性,更好地理解和关联知识。
1.7.3 网络大数据的应用
网络大数据平台在舆情监控、模式和关键字搜索、数据工程、情报分析、市场营销、医药卫生等领域具有重要的应用。举例来说,大数据平台的出现在搜索引擎中的应用是使得搜索引擎对数据的深入加工和处理变成现实,能够更好地理解用户的搜索意图。用户可以不用自己去筛选信息,而是由搜索引擎根据其搜索历史及个人偏好将有价值的信息呈现给用户。又如,网络大数据平台催生了很多面向程序员与数据科学家的工具(如Karmasphere 和Datameer),使得程序员将数据而非业务逻辑作为程序的主要实体,编写出更简短的程序,更清晰地表达对数据所做的处理。可以预见,大数据平台正在以一种前所未有的方式改变着各行各业,对大数据平台的应用能够更好地帮助人们获取信息并对信息进行更高效的处理和应用。