hadoop环境搭建

参考hadoop官网

具有QJM的NameNode HA_Hadoop 中文网https://hadoop.org.cn/docs/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.htmlhadoop完全分布式

如何您还不懂hadoop 完全分布式可以参考文章

先说一下此篇文章各个节点

master	slave1	slave2
Jps	jps	jps
ResourceManager	DataNode	DataNode
SecondaryNameNode	NodeManager	NodeManager
NameNode

一、我们首先修改主机名

修改主机名第一台:hostnamectl set-hostname master

修改主机名第二台:hostnamectl set-hostname slave1

修改主机名第三台:hostnamectl set-hostname slave2

如何我们使用命令关闭con7的防火墙

防火墙操作相关：

查看防火墙状态：service iptables status

关闭防火墙：service iptables stop
开启防火墙：service iptables start
重启防火墙：service iptables restart 
关闭防火墙开机启动：chkconfig iptables off 
开启防火墙开机启动：chkconfig iptables on

然后将hadoop，jdk安装包移动到虚拟机内

压缩包下载进行安装

Index of /disthttps://archive.apache.org/dist/二、使用 vi  /etc/hosts命令加入master机，slave1，slave2ip地址

 使用：wq命令进行保存

然后我们创建密钥 ssh-keygen -t rsa

然后使用ssh-copy-id命令分别复制密钥到slave1，slave2中

将密钥复制到master中:ssh-copy-id master

将密钥复制到slave1中:ssh-copy-id slave1

将密钥复制到slave2中:ssh-copy-id slave2

三、然后我们来配置jdk

1.首先使用tar -zxvf 命令解压jdk安装包,我这里解压到usr/java/目录中，根据个人需要进行解压

tar -zxvf jdk-8u162-linux-x64.tar.gz -C  /usr/java

2.然后进入java目录修改名字mv jdk1.8.0_179改为jdk

mv / jdk1.8.0_179 jdk

3.使用vi /etc/profile命令进行全局编辑环境变量

##配置java

  export JAVA_HOME=/usr//jdk

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVE_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

使用:wq命令进行保存

也可使用vi /root/.bash_profile 命令进行仅root环境变量使用

##配置java

  export JAVA_HOME=/usr//jdk

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVE_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

使用:wq命令进行保存

4/使用source /etc/profile命令进行环境生效

仅root生效使用source  /root/.bash_profile命令进行环境生效

java环境创建好我们来设置hadoop环境

四、hadoop环境搭建

1.使用命令将hadoop压缩包进行解压，我这里解压到opt目录下，所以

tar -zxvf  hadoop-2.7.7.tar.gz /opt/

2.我们使用cd命令进去到hadoop的根目录/etc/hadoop目录下

cd /opt/hadoop/etc/hadoop命令

3.然后我们来配置hadoop环境

使用vi命令修改hadoop-env.sh的java路径

export JAVA_HOME=/usr/java/jdk

根据自己的java路径进行修改使用

4.使用vi core-site.xml命令将下面复制到该文件     下

        fs.defaultFS

        hdfs://master:8020

   

   

       

        hadoop.tmp.dir

        /opt/hadoop/tmp

   

使用:wq命令保存

5.使用vi hdfs-site.xml命令将以下命令复制到该文件     下

        dfs.replication
        2
    
    
        dfs.permissions
        false
    
    

        dfs.namenode.name.dir
        file:optr/hadoop/hdfs/name
    
    

        dfs.datanode.data.dir
        file:/opt/hadoop/hdfs/data
    
    

使用:wq命令保存

5.使用vi /mapred-site.xml命令将以下命令复制到该文件     下

    

        mapreduce.framework.name
        yarn
    

6.使用vi yarn-site.xml命令将以下命令复制到该文件     下

   

        yarn.nodemanager.aux-services

        mapreduce_shuffle

   

   

     yarn.resourcemanager.hostname

        master

   

使用:wq命令保存

使用vi slaves

添加slave1slave2

使用wq命令进行保存

然后使用

scp -r /opt/hadoop slave1:/opt/

scp -r /opt/hadoop slave2:/opt/将hadoop复制到两个节点中

在  HDFS  主节点上执行命令进行初始化  namenode

bin/hadoop        namenode        -format 

出现这一条即格式化成功

在 HDFS 上的主节点启动 HDFS
sbin/start-dfs.sh

在  YARN  主节点启动  YARN，要求在  YARN  主节点进行启动，否则  ResourceManager  主进 
程会启动不成功，需要额外手动启动
sbin/start-yarn启动yarn

五、测试集群是否安装成功
1、检测  hdfs  是否启动成功
hadoop        fs        -ls        /
2、检测  yarn  集群是否启动成功（提交  mapreduce  例子程序试跑）
bin/hadoop jar        hadoop-mapreduce-examples-2.6.5.jar        pi        5        5

六、补充说明
1、启动  namenode  或者  datenode 
sbin/hadoop-daemon.sh start datanode 
sbin/hadoop-daemon.sh start namenode
2、启动  yarn nodemanager
sbin/yarn-daemon.sh start nodemanager 
sbin/yarn-daemon.sh start resourcemanager
3、hdfs   集群信息    web    管理界面地址 
http://hadoop02:50070
4、mapreduce    运行状态信息    web    管理界面 
http://hadoop04:8088
5、查看集群状态
hadoop dfsadmin -report
hdfs dfsadmin -report（推荐用这个）