centos7+hadoop 伪分布式搭建

centos7+hadoop 伪分布式搭建

环境配置

centos7 配置

启动 ifconfig
sudo yum -y install net-tools vim

若出现 hadoop（你的用户名）is not in the sudoers file :

   

 1.  sudo root
 2. vi /etc/sudoers
 3.   找到  root   ALL=(ALL)      ALL
 4. 在下面添加 hadoop (hadoop为本机用户名)    ALL=(ALL)     ALL
 5.  保存 并退出vi 
 6.   重新执行 sudo yum -y install net-tools vim 
  

java 环境配置( java 版本 jdk1.7.0 过高会导致异常 )

jdk下载链接：https://www.oracle.com/technetwork/java/javase/archive-139210.html
 1. cd /home/hadoop/ && mkdir app && cd app
 2. tar -zvxf jdk-7u80-linux-x64.tar.gz 
 3. mv jdk1.7.0_80/ jdk  # 重命名为了方便
 4. sudo vim /etc/profile 
 5. 在末行 添加 ：
		export JAVA_HOME=/home/hadoop/app/jdk
		export PATH=$PATH:$JAVA_HOME/bin
		保存并退出 vim
 6. 执行 source /etc/profile 让配置的java 生效
 7. 测试  输入 :java -version
 8. 若
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190519171306284.png)
则 java 环境配置成功

配置本地localhost 免密登录

 9. ssh-keygen -t rsa
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190519172139469.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMjE3MzEz,size_16,color_FFFFFF,t_70)
 10. cd ~/.ssh && touch authorized_keys
 11. cat ~/.ssh/id_rsa.pub >> authorized_keys
 12. 必须将 authorized_keys 更改为仅对文件所有者可读可写 否则不生效
 13. sudo chmod 600 ~/.ssh/authorized_keys
 14. 检测 键入 ssh localhost 无需密码 即可登录
 15. 将本机ip 绑定 主机名 
 16. sudo vim /etc/hosts
 17. 插入  172.18.242.128 hadoop 
 18. 验证 ssh hadoop  登录成功即可

配置hadoop（版本 hadoop-2.8.5）

hadoop 下载链接 http://mirror.bit.edu.cn/apache/hadoop/common/
 19. cd ~/app/
 20. tar -zvxf hadoop-2.8.5.tar.gz
 21. cd hadoop-2.8.5/etc/hadoop

更改 hadoop-env.sh

 22. sudo vim hadoop-env.sh
 23.  找到 export JAVA_HOME=${JAVA_HOME} 改为 export JAVA_HOME=/home/hadoop/app/jdk
 24. 保存并退出
 25. 命令行 键入 echo $JAVA_HOME 可查看java path 

更改 core-site.xml

26.  sudo vim core-site.xml
27. 在中插入

    fs.defaultFS
    hdfs://127.0.0.1:9000/


    hadoop.tmp.dir
    /home/hadoop/app/hadoop-3.1.2/data

保存并退出

更改 hdfs-site.xml

28.  sudo vim  hdfs-site.xml
29. 在中插入

    dfs.replication
    1

保存并退出

更改 mapred-site.xml

30. cp mapred-site.xml.template mapred-site.xml
31. sudo vim mapred-site.xml
32. 在中插入

   
       mapreduce.framework.name
       yarn
   

保存并退出

##### 更改 yarn-site.xml

1. sudo vim  yarn-site.xml
2.  在中插入

  
    yarn.nodemanager.aux-services
    mapreduce_shuffle

保存并退出

启动 hadoop

3. 先格式化一下
4.  cd ~/.app/hadoop-2.8.5/bin 
5. ./hadoop namenode -format
6. 看到 “ has been successfully formatted”  字样说明格式化成功
7. 启动 hdfs     cd ~/.app/hadoop-2.8.5/sbin
8. ./start-dfs.sh
9. ./start-yarn.sh 
10. 键入 jps  检查 服务启动情况    
如图 服务已全部启动
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019051919540750.png)
11.关闭系统 防火墙  sudo systemctl stop firewalld.service
12. 通过浏览器 可访问 127.0.0.1:50070页面

到此伪分布式 hadoop 已经搭载好了