Flink与Kylin深度实践
上QQ阅读APP看书,第一时间看更新

前言

随着信息时代的到来,数字化经济革命的浪潮正在颠覆性地改变着人类的工作方式和生活方式。在数字化经济时代,从抓数字化管理人才、知识管理人才和复合型管理人才教育入手,加快培养知识经济人才队伍,可为企业发展和提高企业核心竞争能力提供强有力的人才保障。目前,数字化经济在全球经济增长中扮演着越来越重要的角色,以互联网、云计算、大数据、物联网、人工智能为代表的数字技术近几年发展迅猛,数字技术与传统产业的深度融合释放出巨大能量,成为引领经济发展的强劲动力。

大数据技术从2008年开始在国内逐渐兴起,到现在已经十几年了,在这段时间里,IT也在飞速发展,而大数据的出现和使用无疑给IT的迅猛发展提供了一臂之力。从最初Hadoop的出现,到Hive在离线数仓功能开发中的广泛使用,再到以Storm为代表的实时处理浪潮,最后是Spark隆重登场,又掀起了内存处理时代的一场新革命。人们纷纷惊讶于Spark一站式的解决方案,它不仅将流式处理问题完美地解决了,而且在批量处理上做得非常完美,注重批量数据的内存计算。Spark技术剑走偏锋,将批量数据处理作为切入点,快速抢占了数据处理市场,成为国内大多数公司数据处理一站式框架的首选产品。

随着时间的推移,越来越多的公司在实时处理层面要求更高,希望数据从产生到完全被处理之间的时间延迟尽量减小,且能够应对实时处理带来的各种复杂问题,如数据延迟、数据的状态保存、复杂事件的检测机制等。Flink在这种背景下应运而生。本书从实战出发,结合Flink的多种特性,如实时处理、批量处理、复杂事件检测等,使用大量案例深入浅出地讲解了Flink的各种功能,让读者能够快速上手Flink开发。

学习Flink对于很多没有一定分布式经验的人来说会比较困难和枯燥,因为很难理解Flink中的状态编程、状态保存、CEP等各种优秀机制。虽然Flink经过了多年的发展,但是国内开发人员由于缺乏学习资料而难以掌握。因此笔者从实战出发,结合自己在工作当中的一些使用心得,编写了这本关于Flink的书籍,以帮助志同道合的学习者。

作为一个数据分析引擎,Kylin强大的多维分析功能使众多公司纷纷选择用它来构建内部分析平台,读者通过最后一章的学习可以快速掌握Kylin的环境搭建以及Cube构建,并轻松上手Kylin程序开发,解决Kylin使用过程中的各种问题。

本书适合有一定编程经验以及大数据开发经验的人员阅读,对于一些有数据实时处理工作需求或者想要从事相关工作的读者大有裨益。本书每章都配有专属二维码,读者扫描后即可观看作者对于本章重要知识点的讲解视频。扫描下方的开课吧公众号二维码将获得与本书主题对应的课程观看资格及学习资料,同时可以参与其他活动,获得更多的学习课程。此外,本书配有源代码资源文件,读者可登录https://github.com/kaikeba免费下载使用。

限于时间和作者水平,书中难免有不足之处,恳请读者批评指正。

编者