Flink与Kylin深度实践
上QQ阅读APP看书,第一时间看更新

2.3 standalone模式的HA环境

上一节实现了Flink的standalone模式部署安装,并且能够正常提交任务到集群上。其中的主节点是JobManager,但JobManager是单节点,必然会有单节点故障问题产生,所以也可以在standalone模式下借助ZK将JobManager实现为高可用模式。

首先停止Flink的standalone模式,并启动ZK和Hadoop集群服务。

1.修改配置文件

在node01上执行以下命令修改Flink的配置文件。

1)修改flink-conf.yaml配置文件。

2)修改masters配置文件。

3)修改slaves配置文件。

2.在HDFS上创建flink文件夹

在node01上执行以下命令。

3.复制配置文件

将node01服务器修改后的配置文件复制到其他服务器上,命令如下。

4.启动Flink集群

在node01上执行以下命令。

5.访问页面

访问node01服务器的Web页面,直接在浏览器中访问http://node01:8081/#/overview;node02服务器的Web页面为http://node02:8081/#/overview,node03类似。

注意:

访问node02的Web页面时会自动跳转到node01的Web页面上,因为此时node01服务器才是真正活跃(active)的节点。

6.模拟宕机情况实现自动切换

将node01服务器的JobManager进程关闭,过一段时间之后查看node02的JobManager是否能够访问。注意:JobManager发生切换时,TaskManager也会跟着重启。