Hadoop安装

基础配置

1、关闭防火墙
        systemctl stop firewalld.service #停止firewall
        systemctl disable firewalld.service #禁止firewall开机启动
    查看防火墙状态
        firewall-cmd --state
        systemctl status firewalld.service
    启动防火墙
        systemctl start firewalld.service
​
2、修改主机名
    第一种
        hostnamectl set-hostname 名称
    第二种
        vim /etc/hostname
    查看主机名
        hostnamectl status
​
3.关闭networkmanage服务
    systemctl status NetworkManager #查看NetworkManager状态
    systemctl stop NetworkManager   #停止NetworkManager
    systemctl disable NetworkManager#禁止NetworkManager开机启动
​
4、修改ip地址
​
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
​
    TYPE=Ethernet
    PROXY_METHOD=none
    BROWSER_ONLY=no
    BOOTPROTO=none
    DEFROUTE=yes
    IPV4_FAILURE_FATAL=no
    NAME=ens33
    DEVICE=ens33
    ONBOOT=yes
    IPADDR=192.168.129.211
    NETMASK=255.255.255.0
    GATEWAY=192.168.129.2
    DNS1=192.168.129.2
​
5.卸载自带jdk
    查看自带jdk
        rpm -qa |grep jdk
    卸载:
        rpm -e 自带jdk名称 --nodeps
​
6.安装jdk
    上传jdk1.8.0_171到/usr/local/module
    解压jdk到soft
        cd /usr/local/module 
        tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/soft
​
    配置环境变量
        vim /etc/profile
        增加
            export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
            export PATH=$PATH:$JAVA_HOME/bin
​
7.映射关系
    ip地址 主机名
    linux配置路径vim /etc/hosts
    windows配置路径C:\Windows\System32\drivers\etc\hosts
​
8.修改启动级别之后重启
    systemctl set-default multi-user.target #无界面
    
克隆两台然后  
9.免密配置
    ssh-keygen -t rsa 然后三次回车
    ssh-copy-id -i 主机名，主机包括本机   

安装hadoop

上传hadoop-2.7.6.tar.gz 到module
    解压:tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/
        注意:必须在解压在/usr/local/soft/
配置环境变量:
    export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
    PATH中新加$HADOOP_HOME/bin:$HADOOP_HOME/sbin
​
1.修改slaves  位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/slaves 
    删除原有内容
    新加从节点主机名
    node1
    node2
​
2.修改hadoop-env.sh 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hadoop-env.sh
    删除export JAVA_HOME=${JAVA_HOME}
    新加export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
​
3.修改core-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/core-site.xml
在core-site.xml标签configuration中复制一下内容
​

fs.defaultFS
hdfs://master:9000


hadoop.tmp.dir
/usr/local/soft/hadoop-2.7.6/tmp


fs.trash.interval
1440

​
4.修改hdfs-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hdfs-site.xml 

    dfs.replication
    1


    dfs.permissions
    false

​
5.修改yarn-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/yarn-site.xml

yarn.resourcemanager.hostname
master


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.log-aggregation-enable
true


yarn.log-aggregation.retain-seconds
604800

6.修改mapred-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml
cp /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml.template /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml
​

    mapreduce.framework.name
    yarn

  
    mapreduce.jobhistory.address  
    master:10020  
  
  
    mapreduce.jobhistory.webapp.address  
    master:19888  

​
7.hadoop分发到node1和node2
    scp -r /usr/local/soft/hadoop-2.7.6 node1:/usr/local/soft
    scp -r /usr/local/soft/hadoop-2.7.6 node2:/usr/local/soft
​
8.启动hadoop
    在master格式化
    hdfs namenode -format
    start-all.sh 开始运行    stop-all.sh 停止运行
    google浏览器输入master:50070

如果安装失败

stop-all.sh
    再次重启的时候
    1.需要手动将每个节点的tmp目录删除: 所有节点都要删除
        rm -rf /usr/local/soft/hadoop-2.7.6/tmp
        然后执行将namenode格式化
    2.在主节点执行命令:
        hdfs namenode -format
    3.启动hadoop
        start-all.sh