系列目录:
Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境
Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式
Hadoop实战(3)_虚拟机搭建CDH的全分布模式
Hadoop实战(4)_Hadoop的集群管理和资源分配
Cloudera Manager如何卸载
卸载CM Server
sh /usr/share/cmf/uninstall-cloudera-manager.sh
rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera* /etc/cloudera*
看日志,
CM manager的日志,/var/log/cloudera-manager-installer
、/var/log/cloudera-scm-agent
、/var/log/cloudera-scm-server
。
关键目录,
各个服务的安装根目录,/opt/cloudera/parcels/CDH/lib
。
配置文件,HDFS服务的三大配置文件,/etc/hadoop/conf
。yarn的配置文件,oop/conf.cloudera.yarn
。hive的配置文件,/etc/hive/conf
。
日志,Hadoop服务的日志都在界面里看。
NameNode热备HA实现
Capacity调度配置,实现多租户机制
Linux下帐户的根目录:/home/用户名
HDFS下帐户的根目录:/user/用户名
HDFS的回收站是帐户级别的,在/user/用户名/.Trash
1、设置调度类型
yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
2、指定划分的queue名,分别分配50%,30%,20%的资源
yarn.scheduler.capacity.root.queues
default, queueB, queueC
3、划分资源
yarn.scheduler.capacity.root.default.capacity
50
yarn.scheduler.capacity.root.queueB.capacity
30
yarn.scheduler.capacity.root.queueC.capacity
20
4、指定每个queue下的帐户
yarn.scheduler.capacity.root.default.acl_submit_applications
root,hadoop
限定哪些Linux用户/用户组可向给定队列中提交应用程序
yarn.scheduler.capacity.root.default.acl_administer_queue
hadoop
为队列指定管理员,可杀死任意一个应用程序等
yarn.scheduler.capacity.root.default.state
RUNNING
default队列的状态,可以是RUNNING或者STOPPED.
Hadoop运维经验补充
服务器更改IP怎么办?
更新/etc/hosts
,启动服务查看是否正常,如果不能正常用,执行主机-重新运行升级向导。
如何往集群中添加节点?
执行主机-向集群添加新主机。
7180界面打开后进行首个检查
7180界面打开后,不要立刻启动服务,先进行一项检测后再启动服务,查看主机-上一检测信号。如果发现某节点没检测信号,首先把cm Agent起来:
chkconfig --list|grep cloudera
service cloudera-scm-agent start
如何更换集群的JDK
如果用其他版本jdk7是否能用?不能用其他版本的jdk,哪怕小版本号对不上都不行。
当需要把JDK7升级为JDK8时,修改JAVA_HOME
,就可以了吗?
1、修改JAVA_HOME
尝试是否可行。(全节点)
tar xvzf jdk-8u131-linux-x64.tar.gz
vi /etc/profile
JAVA_HOME=/root/jdk1.8.0_131
2、cm界面里重启服务,查看是否起效?不起效。
# 查看JDK
ps -ef|grep java
解决办法:在主机-配置-高级配置Java主目录,并在/etc/profile
修改JAVA_HOME
。
您可能还想看
数据分析/数据挖掘/机器学习
Python数据挖掘与机器学习_通信信用风险评估实战(1)——读数据
Python数据挖掘与机器学习_通信信用风险评估实战(2)——数据预处理
Python数据挖掘与机器学习_通信信用风险评估实战(3)——特征工程
Python数据挖掘与机器学习_通信信用风险评估实战(4)——模型训练与调优
爬虫
Python爬虫实战之爬取链家广州房价_01简单的单页爬虫
Python爬虫实战之爬取链家广州房价_02把小爬虫变大
Python爬虫实战之爬取链家广州房价_03存储
Python爬虫实战之爬取链家广州房价_04链家的模拟登录(记录)
搜狗词库爬虫(1):基础爬虫架构和爬取词库分类
搜狗词库爬虫(2):基础爬虫框架的运行流程
微信公众号「数据分析」,分享数据科学家的自我修养,既然遇见,不如一起成长。
转载请注明:转载自微信公众号「数据分析」