3.2 Cloudera Manager及CDH安装

Cloudera Manager Server和Agent都启动以后，就可以进行大数据基础平台的安装了。这时可以通过浏览器访问主节点node0的7180端口测试一下（由于Cloudera Manager Server的启动需要花点时间，这里可能要等待一会儿才能访问），默认的用户名和密码均为admin，如图3-4所示。

图3-4

部署版本选择免费版本Cloudera Express，免费版本除了拥有CDH和Cloudera Manager核心功能外，群集节点数量无任何限制，如图3-5所示。付费的Cloudera Enterprise企业版本还拥有Cloudera Manager高级功能、Cloudera Navigator审核组件和商业技术支持。

图3-5

接下来，选择需要安装的节点主机。由于我们在各个节点都安装并启动了Agent，各个节点的配置文件config.ini的server_host都指向主节点node0，因此我们可以在“Currently Managed Hosts”（当前管理的主机）中看到三个主机，如图3-6所示，全部勾选并继续。如果cloudera-scm-agent没有启动，这里会检测不到主机。

图3-6

这里你会看到已经提前下载好的Parcel包对应的CDH版本，如CDH-5.11.2，如图3-7所示。

图3-7

如果配置本地Parcel包无误，那么Parcel包的下载应该是瞬间就完成了，并由CM将Parcel文件包分发到各个节点。Parcel包分发完后，点击“Continue”按钮，进入到检查群集主机正确性的界面。Cloudera会进行安装前各节点的检查工作，比如Cloudera建议将swappiness设置为0，主机时钟要同步、禁用透明大页等，配置没有问题就打勾，如图3-8所示。

图3-8

选择需要安装的大数据组件，我们可以选择自定义安装方式“Custom Services”，如图3-9所示。

图3-9

这里选择HBase、HDFS、Hive、YARN、ZooKeeper等服务组件，如图3-10所示。

图3-10

然后给集群各个节点分配角色，如HDFS需要的角色有NameNode（名称节点，也称名称节点）、SecondaryNameNode（第二名称节点）、DataNode（数据节点），HBase必需的角色有HMaster、RegionServer（与DataNode在同一节点上）等，如图3-11所示。如果系统配置有什么问题，在安装过程中会有提示，根据提示安装组件就可以了。

图3-11

此处选择Hive组件的元数据库，使用MySQL来存储Hive元数据信息，如图3-12所示。

图3-12

需要注意的是，若“Test Connection”确认数据库的连通性没有通过，则需要复制MySQL的JDBC驱动到相应目录，复制命令如下：

    cp /opt/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/
CDH-5.11.2-1.cdh5.11.2.p0.4/lib/hive/lib/
    cp /opt/mysql-connector-java-5.1.42-bin.jar /opt/cm-5.11.2/share/
cmf/lib/
    cp /opt/mysql-connector-java-5.1.42-bin.jar /usr/share/java/mysql-
connector-java.jar

最后，CM开始配置并启动各项服务，直到安装过程全部完成，CM管理界面如图3-13所示。

图3-13