网速好
因为是线上安装,所以要求要有比较大的带宽,特别是并行安装台服务器时。
网络稳
一旦网络中断,可能你花费了半天或则一天的时间,就有可能会浪费,然后重装。
内存大
最少要求10G以上内存,特别NameNode节点分配的角色较多,占用内存会更多。
安装版本
OS:CentOS 6.7
CM:Cloudera Manager5.7
CHD:Cloudera Hadoop 5.7(Hadoop2.6.0,Hbase1.2.0,Hive1.1.0)
注:
初步准备6台服务器安装,后面可根据需要再添加新服务器到集群中
修改每台/etc/hosts文件
每台都要安装ssh
# yum install ssh
修改/usr/bin/host文件名
# mv /usr/bin/host /usr/bin/host.bak
修改swappiness参数配置
--临时生效配置
# echo 0 > /proc/sys/vm/swappiness
--永久生效配置
[root@hadoop0 ~]# cat /etc/sysctl.conf
vm.swappiness = 0
下载地址:
http://archive.cloudera.com/cm5/installer/5.7.0/
--赋予脚本执行权限
# chmod u+x cloudera-manager-installer.bin
--执行脚本启动安装界面
# export DISPLAY=192.168.1.198:0.0
# ./cloudera-manager-installer.bin
弹出安装界面后,同意点Next就可以:
Next:
Next:
Next:
Next:
开始安装:
安装完成:
安装完成弹出的对话框:
Your browser should now open tohttp://localhost:7180/. Log in to Cloudera Manager with the username andpassword set to 'admin' to continue installation.
在安装cloudera-server的pc机下,输入下面网址即可访问:
http://localhost:7180/
上面点击close,会自动访问。关闭浏览器后,会看到下图
http://ip:7180/ 登录界面:
输入用户名和密码
用户名:admin
密码: admin
这样cloudera-manager-server就已经安装成功了。
首先登录http://localhost:7180/管理界面,选择ClouderaHadoop版本和指定主机
我们选择ClouderExpress。
当然你选择ClouderEnterprise试用版也可以。关于Clouder Express和Clouder Enterprise的区别见文章:
http://bananalighter.com/cloudera-manager-express-vs-enterprose/
单击继续
注:使用主机名的通配符或是用逗号隔开所有主机名,可点击模式查看格式。
都选中后,点击继续
不用单用户模式安装:
这里选用的是root,并且接受相同的密码。
注:
指定主机的 SSH 登录方式
一种通过root用户,密码需要一致,刚开始安装建议使用root。
也可以使用非root用户,但是需要保证sudo无密码访问
实现方法如下:
给aboutyun用户设置无密码sudo权限:
# chmod u+w /etc/sudoers
grid ALL=(root)NOPASSWD:ALL
# chmod u-w /etc/sudoers
测试:sudo ifconfig
这一步很重要,主要下载安装jdk,agent包,在线安装可能花的时间比较长,也有可能会因为主机配置不当,或是网络原因会下载安装失败,安装失败后要卸载重装。遇到的问题也在后面做了总结。
安装完成后通信就成功了。
这步可能遇到的问题比较多,下面是一结错误总结:
http://www.aboutyun.com/thread-9293-1-1.html
关于Parcel的作用和原理见:
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:
解决办法:
# echo 0 > /proc/sys/vm/swappiness
# vi /etc/rc.local
echo 0 > /proc/sys/vm/swappiness
已启用透明大页面压缩,可能会导致重大性能问题。请运行“echo never> /sys/kernel/mm/transparent_hugepage/defrag”以禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始脚本中,以便在系统重启时予以设置。以下主机将受到影响:
hadoop[0-5].hadoop.com
解决:
# echo never> /sys/kernel/mm/transparent_hugepage/defrag
# vi /etc/rc.local
echo never >/sys/kernel/mm/transparent_hugepage/defrag
问题:
IOException thrown while collecting data from host: No route to host
原因:agent开启了防火墙
解决:service iptables stop(不推荐)
选择要安装的服务,根据自己服务器性能和需要设置
分配角色:
数据库设置:
这里默认的是内嵌的PostgreSQL数据
Hive/cHHjYGNhGs
Oozie:oozie_oozie_server/n5wSvDW71N
点击测试连接检查是否连接成功。
审核更改:
这里修改要安装服务的配置参数
最后设置完成后启动服务
完成后可以主机页面看到已经成功安装的主机列表: