上QQ阅读APP看书,第一时间看更新
2.3 standalone模式的HA环境
上一节实现了Flink的standalone模式部署安装,并且能够正常提交任务到集群上。其中的主节点是JobManager,但JobManager是单节点,必然会有单节点故障问题产生,所以也可以在standalone模式下借助ZK将JobManager实现为高可用模式。
首先停止Flink的standalone模式,并启动ZK和Hadoop集群服务。
1.修改配置文件
在node01上执行以下命令修改Flink的配置文件。
1)修改flink-conf.yaml配置文件。
2)修改masters配置文件。
3)修改slaves配置文件。
2.在HDFS上创建flink文件夹
在node01上执行以下命令。
3.复制配置文件
将node01服务器修改后的配置文件复制到其他服务器上,命令如下。
4.启动Flink集群
在node01上执行以下命令。
5.访问页面
访问node01服务器的Web页面,直接在浏览器中访问http://node01:8081/#/overview;node02服务器的Web页面为http://node02:8081/#/overview,node03类似。
注意:
访问node02的Web页面时会自动跳转到node01的Web页面上,因为此时node01服务器才是真正活跃(active)的节点。
6.模拟宕机情况实现自动切换
将node01服务器的JobManager进程关闭,过一段时间之后查看node02的JobManager是否能够访问。注意:JobManager发生切换时,TaskManager也会跟着重启。