centos 上hadoop2.7.3安装部署 单机版

前提 ：centos 上1.8 jdk 环境

1 hadoop 2.7.3下载

下载链接

http://hadoop.apache.org/releases.html

2 解压

放进自己想要放的目录下 加压

我的目录 /usr/hadoop/hadoop-2.7.3/

3 hadoop 配置

1.修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

文件，将java安装路径加进去：

 export JAVA_HOME=/mnt/jdk1.8.0_151

4配置hadoop环境变量

 命令  tar zxvf hadoop-2.7.3.tar.gz

回车 ；

点 i 增加下面的两项；

完后按Esc ： wq 回车；

使用下面命令 保存配饰文件

source /etc/profile

5 修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件

   
     
      
        fs.defaultFS  
         hdfs://node1:9000
      
      
      
        hadoop.tmp.dir  
        file:/usr/hadoop/tmp  
      
  

fs.defaultFS直接用localhost就行

6 修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml 

    
        dfs.name.dir  
        file:/usr/hadoop/hdfs/name  
        namenode上存储hdfs名字空间元数据    
      
      
        dfs.data.dir  
        file:/usr/hadoop/hdfs/data  
        datanode上数据块的物理存储位置  
      
      
      
        dfs.replication  
        1  
      

name 和data 目录需要自己创建

7 ssh 免密登录

    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
    chmod 0600 ~/.ssh/authorized_keys 

8 hdfs启动与停止

在安装期间启动hdfs需要格式化，之后启动就不需要的。

cd /usr/hadoop/hadoop-2.7.3  
./bin/hdfs namenode -format  

启动命令：

./sbin/start-dfs.sh

停止命令：

./sbin/stop-dfs.sh

启动之后 输入命令

从图中看，会启动namenode,datanode,secondarynamenode

浏览器输入：http://192.168.1.184:50070     查看效果

9 接下来配置yarn文件. 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/ mapred-site.xml    。这里注意一下，hadoop里面默认是mapred-site.xml.template 文件，如果配置yarn，把mapred-site.xml.template   重命名为mapred-site.xml 。如果不启动yarn，把重命名还原。

      
          
          
            mapreduce.framework.name  
            yarn  
          
     

10 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件

      
          
          
            yarn.nodemanager.aux-services  
            mapreduce_shuffle  
          
      

启动 yarn

./start-yarn.sh

停止：

 ./stop-yarn.sh

两个命令启动之后 利用jps命令 查看

如图 缺一不可（后面要搭建hbase ):

浏览器输入：http://192.168.1.184:8088  

如果端口占用，先把占用的端口杀掉 查看用netstat -ano

搭建过程中遇到的问题先检查配置文件，

到此就OK了