2.3 Cloudera Manager大数据管理平台介绍
2.3.1 Cloudera Manager概述和整体架构
Cloudera Manager（简称CM）是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。它是Hadoop集群的软件分发及管理监控平台，通过它可以快速地部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。
Cloudera Manager的整体架构如图2-2所示。
图2-2
Cloudera Manager的核心是Cloudera Manager Server，它包括以下组件。
·Server：托管Admin Console Web Server和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。
·Agent：安装在每台主机上。它负责启动和停止进程，解压缩配置，触发安装和监控主机。默认情况下，Agent每隔15秒向Cloudera Manager Server发送一次检测信号。但是，为了减少用户延迟，在状态变化时会提高频率。如果Agent停止检测信号，主机将被标记为运行状况不良。
·Management Service：执行各种监控、报警和报告功能的一组角色的服务。
·Database：存储配置和监控信息。
·Cloudera Repository：可供Cloudera Manager分配的软件的存储库（repo库）。
·Client：用于与服务器进行交互的接口。
·Admin Console：管理员控制台。
·API：Cloudera产品具有开发的特性，所有在Cloudera Manager界面上提供的功能，通过API都可以完成同样的工作，这些API都是标准的REST API。开发人员使用API甚至可以创建自定义的Cloudera Manager应用程序。
Cloudera Management Service可作为一组角色实施各种管理功能：
·Activity Monitor：收集有关服务运行活动的信息。
·Host Monitor：收集有关主机的运行状况和指标信息。
·Service Monitor：收集有关服务的运行状况和指标信息。
·Event Server：聚合组件的事件并将其用于警报和搜索。
·Alert Publisher：为特定类型的事件生成和提供警报。
·Reports Manager：生成图表报告，提供用户、用户组的目录的磁盘使用率、磁盘IO等历史视图。
2.3.2 Cloudera Manager的基本核心功能
Cloudera Manager作为Hadoop大数据平台的管理工具，能够有效地帮助用户更容易地使用Hadoop。它的基本核心功能分为四大模块：管理功能、监控功能、诊断功能和集成功能。
Cloudera Manager提供的管理功能如下：
（1）批量自动化部署节点：CM提供强大的Hadoop集群部署能力，能够批量地自动化部署节点。安装一个Hadoop集群只需添加需要安装的节点、安装需要的组件和分配角色这三步，大大缩短了Hadoop的安装时间，也简化了Hadoop的安装过程。
（2）可视化的参数配置功能：Hadoop包含许多组件，不同组件都包含各种各样的XML配置文件。CM提供界面GUI可视化参数配置功能，如图2-3所示，能自动部署到每个节点。
图2-3
（3）智能参数验证以及优化：当用户配置部分参数值有问题时，CM会给出智能错误提示，帮助用户更合理地修改配置参数，如图2-4所示。
图2-4
（4）高可用配置：CM对关键的组件使用HA部署，如NameNode高可用可以通过CM的Web管理界面，根据向导启用HDFS HA，如图2-5所示。
图2-5
（5）权限管理：提供不同级别的管理权限，比如只读用户访问Cloudera Manager的界面时，所有服务对应的启停等操作选项都不可用，如图2-6所示。
图2-6
Cloudera Manager提供的监控功能如下：
（1）服务监控：查看服务和实例级别健康检查的结果，对设置的各种指标和系统运行情况进行全面监控，如图2-7所示。如果任何运行状况测试是不良（Bad），则服务或者角色的状态就是不良（Bad）。如果任何运行状况测试是存在隐患（Concerning，没有任何一项是不良（Bad）），则角色或者服务的状况就是存在隐患（Concerning），而且系统会对管理员应该采取的行动提出建议，如图2-8所示。
图2-7
图2-8
（2）主机监控：监控群集内所有主机的有关信息，包括主机上目前消耗的内存、主机上运行的角色分配等，如图2-9所示，不但显示所有群集主机的汇总视图，而且能进一步显示单个主机关键指标详细视图。
图2-9
（3）行为监控：CM提供了列表和图表来查看群集上进行的活动，不仅显示当前正在执行的任务行为，还可以通过仪表盘查看历史活动。
（4）事件活动：监控界面可以查看事件，系统管理员可以通过时间范围、服务、主机、关键字等字段信息过滤事件。
（5）报警：通过配置CM可以对指定的事件产生警报，并通过电子邮件或者SNMP的事件得到制定的警报通知。
（6）日志和报告：可以轻松点击一个链接查看相关的特定服务的日志条目，并且Cloudera Manager可以将收集到的历史监控数据统计生成报表。
Cloudera Manager提供的诊断功能如下：
（1）周期性服务诊断：CM会对集群中运行的服务进行周期性的运行状况测试，以检测这些服务的状态是否正常。如果有异常情况，就会进行告警，有利于更早地让用户感知集群服务存在的问题，如图2-10所示。
图2-10
（2）日志采集及检索：对于一个大规模的集群，CM提供了日志的收集功能，能够通过统一的界面查看集群中每台机器、各项服务的日志，并且能够根据日志级别等不同的条件进行检索，如图2-11所示。
（3）系统性能使用报告：CM能够产生系统性能使用报告，包括集群的CPU使用率、单节点的CPU使用率、单个进程的CPU使用率等各项性能数据，这对于Hadoop集群的性能调试很重要。
图2-11
Cloudera Manager提供的集成功能如下：
（1）安全配置：为了方便Hadoop大数据平台与原有身份认证系统如AD、LDAP等的集成，CM只需在界面上配置即可完成。
（2）Cloudera Manager API：通过Cloudera Manager API，能够方便地将CM集成到企业原有管理系统集成。
（3）SNMP集成：CM也提供了方便的SNMP集成能力，只要简单的配置，就能够将SNMP进行集成，并且将集群中的告警信息进行转发。
2.3.3 Cloudera Manager的高级功能
Cloudera manager的高级功能在免费的Express版本中是不提供的。
（1）软件滚动升级：Hadoop版本升级和bug修复，通常会影响业务的连续性。CM提供了滚动升级的功能，支持Hadoop平台进行升级时继续对外提供服务以及应用。
（2）参数版本控制：任何时候进行配置修改并保存之后，Cloudera Manager会对该配置生成一个版本。Cloudera Manager支持查看历史配置，并能回滚到不同版本，从而为集群恢复、问题诊断等提供了可靠的依据和方便的工具。
（3）备份及容灾系统BDR：Cloudera为Hadoop平台提供了一个集成的、易用的灾备解决方案。BDR为灾备方案提供了丰富的功能，CM为BDR提供了完整的用户界面，实现界面化的数据备份与灾难恢复。
（4）数据审计：Cloudera Navigator的审计功能支持对于数据的审计和访问。
（5）安全集成向导：启用Kerberos集成和外部安全认证集成，如支持通过内部数据库和外部服务进行用户认证。