Hadoop2.7 安装

Hadoop2.7 安装

参考：http://www.linuxidc.com/Linux/2015-01/112029.html

机器准备

192.168.72.130 master

192.168.72.131 slave1

192.168.72.132 slave2

192.168.72.133 slave3

目录

1. 安装JDK
2. 配置host文件
3. SSH免密码登陆
4. Hadoop安装
5. Hadoop配置
6. Hadoop初始化
7. Hadoop启动
   1. 关闭防火墙测试

   SSH免密码登陆

• 准备工作
• 确定本机安装了ssh服务
• 确认本机sshd的配置文件（需要root权限）
  　　$ vi /etc/ssh/sshd_config
  　　找到以下内容，并去掉注释符"#"
  　　RSAAuthentication yes
  　　PubkeyAuthentication yes
  　　AuthorizedKeysFile      .ssh/authorized_keys
• 如果修改了配置文件需要重启sshd服务 （需要root权限）
  　　$ /sbin/service sshd restart
  
• 在各个机器上生产公钥私钥。

  生成公钥和私钥代码：ssh-keygen -t rsa  （后一直回车）
     默认在 ~/.ssh目录生成两个文件：
      id_rsa      ：私钥
      id_rsa.pub  ：公钥
  

• 将各个机器上的公钥集中到一起

  将各个机器上的id_rsa.pub集中到文件authorized_keys中

  Cat id_rsa.pub >> authorized_keys

  并拷贝该文件至所有的~/.ssh/目录下

• 更改权限       

  Shell代码:   chmod 700 ~/.ssh
                      chmod 600 ~/.ssh/authorized_keys  

Hadoop安装

tar -xzvf hadoop-2.7.0.tar.gz

 

配置

• 文件hadoop-env.sh、yarn-env.sh

就是修改这一行内容，修改后的结果如下

    export JAVA_HOME=/usr/local/jdk

【这里的JAVA_HOME的值是jdk的安装路径。如果你那里不一样，请修改为自己的地址】

• 文件core-site.xml

fs.defaultFS
hdfs://cluster1

【这里的值指的是默认的HDFS路径。当有多个HDFS集群同时工作时，用户如果不写集群名称，那么默认使用哪个哪？在这里指定！该值来自于hdfs-site.xml中的配置】

<property>
<name>hadoop.tmp.dirname>
<value>/usr/local/hadoop/tmpvalue>
property>

【这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】

• 文件hdfs-site.xml

<configration>
<property>
 <name>dfs.name.dirname>
 <value>/home/software/hadoop-2.7.0/dfs/namevalue>
property>
<property>
 <name>dfs.data.dirname>
 <value>/home/software/hadoop-2.7.0/dfs/datavalue>
 <description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.description>
property>
<property>
 <name>dfs.namenode.secondary.http-addressname>
 <value>master:9001value>
property> 

configration>

 

• 文件mapred-site.xml

<configration>

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

master:10020

mapreduce.jobhistory.webapp.address

master:19888

configration>

 

• 文件yarn-site.xml

<configration>

yarn.resourcemanager.hostname

master

yarn.nodemanager.aux-services

mapreduce_shuffle

configration>

   

• 文件slaves

Master

Slave1

Slave2

Slave3

【指定所有的DataNode节点列表，每行一个节点名称】

Hadoop初始化

初始化，输入命令，bin/hdfs namenode -format

Hadoop启动

全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

停止的话，输入命令，sbin/stop-all.sh

输入命令，jps，可以看到相关信息

关闭防火墙测试

关闭防火墙：输入命令，systemctl stop firewalld.service

浏览器打开http://192.168.0.182:8088/

浏览器打开http://192.168.0.182:50070/

问题

• 无法安装成功

文件权限问题，设置好权限

• 安装完成，启动NameNode后，JPS时DataNode无法启动

运行了两次格式化，UUID出现的冲突，删除DataNode的配置的文件夹，

然后重新生成。

• JPS时全部都是可以的，但是网页浏览是发现没有DataNode

Hosts里面解析冲突了，把hosts里面的主机名的127.0.1.1 的名字改掉    或者把那行注释掉

• JPS没有问题，Linux虚拟机中页面没有问题，本地无法访问

  Linux防火墙没有关闭

 

附录：各个配置文件的默认配置

 

http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/core-default.xml

http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

http://hadoop.apache.org/docs/r2.7.3/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml