Cloudera Manager的Hadoop配置文件管理

阅读更多

本文基于Cloudera Manager 4.8，以下简称CM

 

    初次使用CM有个困惑： 修改/etc/hadoop/conf目录下配置不会使service instance（如NN、DN、TT、JT等）生效

    CM中service instance的配置文件分为服务端和客户端。

•     服务端文件：/var/run/cloudera-scm-agent/process/
•     客户端文件：/etc/hadoop/conf，只包含简单客户端配置如NN、JT地址等

    service instance是通过agent启动，它的配置文件路径是动态生成并指定的，如某个JT的配置路径可能为：/var/run/cloudera-scm-agent/process/273-mapreduce-JOBTRACKER。

    那如果要使用客户端hadoop命令怎么办呢？

    这就需要部署客户端配置（CM界面有），它会把配置下载到/etc/hadoop/conf/下（实际是通过update-alternatives命令实现），如果当前机器有HDFS服务，则会下载HDFS相关配置文件到/etc/hadoop/conf/（如core-site.xml和hdfs-site.xml），如果是mapred服务则会下载mapred-site.xml等相关文件。如果希望某台服务器不提供hadoop服务也可以通过hadoop命令管理集群，则需要为它添加"GateWay"角色，然后下发客户端配置。

 

--end