从Windows-VM15-Ubuntu-Spark搭建全流程-（四）搭建Hadoop

（四）搭建Hadoop
硬件条件：

1. JDK1.8 （本系列文章一有分享如何下载）
2. Ubuntu 18.04LTS

目的是要搭建Hadoop（单机版）

第一步：下载Hadoop2.7.7
从以下地址下载后解压到dev文件夹
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

批注 2019-12-09 144949.png

# 解压
fi@ubuntu:~/dev$ tar -zxvf hadoop-2.7.7.tar.gz

第二步：配置Hadoop环境变量
由于建立的dev文件夹下准程配置环境变量的， 那么进到这个dev的文件夹后

# 文件中添加如下代码
fi@ubuntu:~/dev$ sudo gedit ~/.bashrc

批注 2019-12-09 145821.png

# 执行命令
fi@ubuntu:~/dev$source ~/.bashrc

第三步：配置hadoop-env.sh

sudo gedit /dev/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
# 找到The java implementation to use.将其下面的一行改为：

export JAVA_HOME=/home/stephyfifi/dev/jdk1.8.0_231/

第四步：配置core-site.xml
其中IP为虚拟机IP

# 打开以下文档添加内容
fi@ubuntu:~/dev/hadoop-2.7.7/etc/hadoop$ sudo gedit core-site.xml 


        hadoop.tmp.dir
        file:///dev/hadoop-2.7.7
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://127.0.0.1
    

# 保存关闭

第五步：配置core-site.xml

fi@ubuntu:~/dev/hadoop-2.7.7/etc/hadoop$ sudo gedit hdfs-site.xml
# 打开的文档添加以下内容,并且新建下面要求的文件夹，tmp、dfs、data

        
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:///dev/hadoop-2.7.7/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:///dev/hadoop-2.7.7/tmp/dfs/data
    

第六步：SSH免密登陆

在命令行中输入如下内容
sudo apt-get install openssh-server
cd ~/.ssh/
ssh localhost ssh-keygen -t rsa
/* 这个过程中持续按回车就可以了 */
cat id_rsa.pub >> authorized_keys

第七步：启动与停止

# 第一次启动hdfs需要格式化，在命令行中输入如下命令（出现询问输入Y or N,全部输Y即可）
fi@ubuntu:~/dev/hadoop-2.7.7$ ./bin/hdfs namenode -format
# 启动
./sbin/start-dfs.sh

# 停止
./sbin/stop-dfs.sh

第八步：验证
验证，浏览器输入：http://127.0.0.1:50070

第九步：配置yarn

#1 配置mapred-site.xml

cd /dev/hadoop-2.7.7/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml

# 在文件中添加内容

    
    
        mapreduce.framework.name
        yarn
    



#2 配置yarn-site.xml
# 命令行中输入如下命令：
sudo gedit yarn-site.xml
# 在文件中添加内容

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

# 3 yarn启动与停止

# 启动
cd /dev/hadoop-2.7.7/sbin/
./start-yarn.sh 

# 停止
cd /dev/hadoop-2.7.7/sbin/
./stop-yarn.sh

# 验证 浏览器 打开
http://127.0.0.1 :8088

成功啦