Hadoop2.0完全分布式安装(无HA 联邦)

1.设置静态ip

      在CentOS桌面右上角的图标，右键修改

      重启网卡，执行servicenetwork restart（/etc/rc.d/init.d/network restart）

    验证:执行命令ifconfig

2.修改主机名

      1.修改会话中的主机名，执行命令 hostname hadoop

      2.修改配置文件中主机名，vi/etc/sysconfig/network 设置HOSTNAME=hadoop

    验证：重启机器（hostname）

3.把hostname和ip绑定

      执行命令 vi/etc/hosts,增加一行内容：192.168.80.20  Hadoop2，192.168.80.30  Hadoop3保存退出

    验证：pinghadoop

4.关闭防火墙

      执行命令 serviceiptables stop

     验证：serviceiptables status

5.关闭防火墙的自动运行

      执行命令chkconfig iptables off

      chkconfig(查看服务chkconfig --list    chkconfig --list |grep iptables)

    验证：chkconfig--list | grep iptables

6.SSH(Secure Shell)免密码登录

      1.执行命令：ssh-keygen-t rsa 产生密钥,位于~/.ssh文件夹中

      2.执行命令 cp /home/hadoop/.ssh/id_rsa.pub/home/hadoop/.ssh/authorized_keys

      (多台电脑免密码登录（不能用root账户登录）  scp /home/hadoop/.ssh/id_rsa.pubhadoop@hadoop1:/home/hadoop/.ssh/authorized_keys)

      authorized_keys应该包含集群所有的id_rsa.pub

     验证：ssh hadoop2

7.安装jdk

       1.执行命令 rm -rf/usr/local/* 删除/usr/local下的所有文件

       2.使用winscp把jdk文件复制到 /usr/local/

       3.执行命令 chmodu+x jdk-6u45-linux-x64.bin  赋予可执行权限

       4.执行命令 ./jdk-6u45-linux-x64.bin  解压缩操作

       5.执行命令 mvjdk-6u45-linux-x64.bin jdk 重命名

       6.设置环境变量 vi/etc/profile 增加两行内容 export JAVA_HOME=/home/hadoop/soft/jdk  export PATH=.:$JAVA_HOME/bin:$PATH

         执行命令source /home/hadoop/.bash_profile  让设置立即生效

      验证：java-version

8.安装Hadoop

       1.执行命令 tar-zxvf hadoop-1.1.2.tar.gz 进行解压缩

       2.执行命令 mv hadoop-1.1.2 hadoop  重命名

       3.设置环境变量 vi /home/hadoop/.bash_profile增加一行内容 export HADOOP_HOME=/home/hadoop/soft/hadoop

                                      修改一行内容 exportPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

       执行命令source/home/hadoop/.bash_profile  让设置立即生效

       4.修改hadoop的配置文件，位于$HADOOP_HOME/etc/hadoop/目录下，修改七个配置文件：          hadoop-env.sh  yarn-env.sh    slaves   core-site.xml          

                hdfs-site.xml   mapred-site.xml    yarn-site.xml

        a.hadoop-env.sh

        exportJAVA_HOME=/home/hadoop/soft/jdk/

 b. yarn-env.sh

        export JAVA_HOME=/home/hadoop/soft/jdk/

 c.slaves 

          hadoop2 

          hadoop3

d.core-site.xml(file:/hamoe/hadoop/soft/hadoop/tmp(存放临时文件)目录需   要预先建立）

fs.defaultFS

hdfs://hadoop1:9000

io.file.buffer.size

131072

hadoop.tmp.dir

file:/hamoe/hadoop/soft/hadoop/tmp

hadoop.proxyuser.hduser.hosts

*

hadoop.proxyuser.hduser.groups

*

 

          c.hdfs-site.xml ｛file:/hamoe/hadoop/soft/hadoop/name（存放元数据）  

               file:/home/hadoop/soft/hadoop/data（存放数据块） 目录需要预先建立}

  

   

    dfs.namenode.secondary.http-address

    hadoop1:9001

   

   

    dfs.namenode.name.dir

    file:/home/hadoop/soft/hadoop/name

   

   

    dfs.datanode.data.dir

    file:/home/hadoop/soft/hadoop/data

   

   

    dfs.replication

    2

   

   

    dfs.webhdfs.enabled

    true

   

   

 

         d.mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

hadoop1:10020

mapreduce.jobhistory.webapp.address

hadoop1:19888

 

         e.yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

hadoop1:8032

yarn.resourcemanager.scheduler.address

hadoop1:8030

yarn.resourcemanager.resource-tracker.address

hadoop1:8031

yarn.resourcemanager.admin.address

hadoop1:8033

yarn.resourcemanager.webapp.address

hadoop1:8088

 

    5.复制到其他的节点 scp-r /home/hadoop/soft/hadoop [email protected]: /home/hadoop/soft/

    6.执行命令  ./bin/hdfs namenode –format 对namenode进行格式化

    7.start-all.sh 启动hadoop（jps 显示当前所有java进程pid）

    8. 执行命令  ./sbin/start -dfs.sh 启动hdfs（jps 显示当前所有java进程pid）

        此时在hadoop1上面运行的进程有：namenode，secondarynamenode

      hadoop2和hadoop3上面运行的进程有：datanode

    9. 执行命令  ./sbin/start -yarn.sh 启动year（jps 显示当前所有java进程pid）

        此时在hadoop1上面运行的进程有：namenode，secondarynamenode，resourcemanager       hadoop2和hadoop3上面运行的进程有：datanode，nodemanager