hadoop集群的搭建

安装Centos虚拟机

1. 安装一台linux7的虚拟机，并设置静态ip地址
2. 克隆该虚拟机，并修改静态ip和主机名
   修改静态ip:
   vi /etc/sysconfig/network-scripts/ifcfg-ens33
   
   测试虚拟机能否联网：
   
   修改主机名：
   vi /etc/hostname
   重启虚拟机
3. 配置主机名与IP之间的映射关系
   vi /etc/hosts
   
   测试一下
   
   将hosts文件分发到其他虚拟机上
   scp -r /etc/hosts root@Centos162:/etc/
   scp -r /etc/hosts root@Centos163:/etc/
   

安装jdk

将安装好的jdk和配置好的环境变量分发到其他虚拟机上
scp -r /opt/software root@Centos162:/opt/
scp -r /opt/software root@Centos163:/opt/
scp -r /etc/profile root@Centos162:/etc/
scp -r /etc/profile root@Centos163:/etc/
重新加载centos162和Centos163的配置文件
source /etc/profile
测试一下另外两台虚拟机的jdk

安装hadoop集群

1. 上传hadoop压缩包 /opt/software/hadoop
2. 解压
   tar -xvf hadoop-2.7.3.tar.gz
3. 删除hadoop压缩包，节省空间
   rm -rf hadoop-2.7.3.tar.gz
4. 配置hadoop的配置文件
   cd /opt/software/hadoop/hadoop-2.7.3/etc/hadoop
   
   core-site.xml

		
        <property>
                <name>fs.defaultFSname>
                <value>hdfs://Centos161:9000value>
        property>
        
        <property>
                <name>hadoop.tmp.dirname>
                <value>/Name/Node/hadoop/datavalue>
        property>

hdfs-site.xml

		
        <property>
                <name>dfs.replicationname>
                <value>2value>
        property>

mapred-site.xml.template
重命名mapred-site.xml.template为mapred-site.xml
mv mapred-site.xml.template mapred-site.xml

		
        <property>
                <name>mapreduce.framework.namename>
                <value>yarnvalue>
        property>

yarn-site.xml

		
        
        <property>
                <name>yarn.resourcemanager.hostnamename>
                <value>Centos161value>
        property>
        
        <property>
                <name>yarn.nodemanager.aux-servicesname>
                <value>mapreduce_shufflevalue>
        property>

slaves
配置dataNode服务器

5. 配置hadoop的环境

vi /opt/software/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

vi /etc/profile

export HADOOP_HOME=/opt/software/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

6. 格式化nameNode
   hadoop namenode -format
   
7. 启动namenode
   hadoop-daemon.sh start namenode
   jps查看进程
   
8. 开放50070端口

/sbin/iptables -I INPUT -p tcp --dport 50070 -j ACCEPT

9. 浏览器访问
   192.168.200.161:50070
   

10. 关闭namenode
    hadoop-daemon.sh stop namenode
    

11. 把hadoop的安装目录和环境配置分发到其他机器上
    scp -r /opt/software/hadoop root@Centos162:/opt/software/
    scp -r /opt/software/hadoop root@Centos163:/opt/software/
    scp -r /etc/profile root@Centos162:/etc/
    scp -r /etc/profile root@Centos163:/etc/

12. 在其他机器上启动dataNode
    hadoop-daemon.sh start datanode
    

13. 查看日志内容
    cat /opt/software/hadoop/hadoop-2.7.3/logs/hadoop-root-datanode-Centos162.log

14. 免密登录
    在nameNode主机上设置免密登录
    ssh-keygen
    ssh-copy-id Centos161 需要登录那一台免密
    ssh-copy-id Centos162
    ssh-copy-id Centos163

15. 启动主机nameNode
    start-all.sh
    从主节点看：
    
    从其他节点看：
    
    访问192.168.200.161:50070