linux下Hadoop2.7.2集群部署日志

一、本人部署过程中踩到的一些雷,供参考,少走弯路:
1)集群所有服务器安装的hadoop路径必须一致(也就是slave服务器hadoop安装路径需要和master一致)
2)先处理好主机名和hosts文件,部署hadoop
3)需要往hadoop-env.sh文件重新引入JAVA_HOME路径
linux下Hadoop2.7.2集群部署日志_第1张图片
4)需要在$HADOOP_HOME/etc/hadoop路径下,创建或修改slaves文件,加入slave服务器名
linux下Hadoop2.7.2集群部署日志_第2张图片
二、linux下Hadoop2.7.2集群部署日志
(1)准备环境
a\ jdk1.7以上
b\ hadoop2.7.2版本
c\ 3台linux系统服务器(本人是redHat6.4):要求安装SSH
(2)详细安装步骤见:http://blog.csdn.net/dream_an/article/details/52946840
(3)可能遇到的问题
1、集群ssh免密登录配置时,命令“ssh-copy-id -i ~/.ssh/id_rsa.pub 主机名“无法执行,可以将主节点的~/.ssh/id_dsa.pub文件复制到集群中的所有节点。然后通过以下命令(如果authorized_keys文件不存在,则运行以下命令。否则,跳到cat命令):

touch ~/.ssh/authorized_keys&&chmod 600 ~/.ssh/authoriized_keys
// 配置权限设置,将密钥写入~/.ssh/authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2、在配置slaves文件时,把原文件里的localhost去掉,保证主节点只做为NameNode,不为DataNode

你可能感兴趣的:(漫游Hadoop生态)