Hadoop伪分布式安装配置

1、配置主机名

vim /etc/sysconfig/network

HOSTNAME=CH0


hostname CH0

2、配置hosts文件

vim /etc/hosts

127.0.0.1         localhost
::1               localhost
192.168.6.20      CH0

3、配置免密码登录

ssh-keygen


ssh-copy-id  root@CH1

4、下载hadoop

http://hadoop.apache.org/releases.html#Download
说明：source为源码，binary为安装包。

5、上传到linux服务器中，并解压到相应位置

[root@CH0 ~]# cd soft/
[root@CH0 soft]# ls
hadoop-2.7.1.tar.gz
[root@CH0 ~]# mkdir -p /usr/lib/hadoop
[root@CH0 ~]# tar -zxvf hadoop-2.7.1.tar.gz -C /usr/lib/hadoop

6、配置hadoop-env.sh

[root@CH0 soft]# cd /usr/lib/hadoop/hadoop-2.7.1/etc/hadoop/
[root@CH0 hadoop]# vim hadoop-env.sh
--配置JAVA_HOME--
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171
--配置HADOOP--
export HADOOP_CONF_DIR=/usr/lib/hadoop/hadoop-2.7.1/etc/hadoop
--配置文件生效--
[root@CH0 hadoop]# source hadoop-env.sh

7、配置core-site.xml

[root@CH0 hadoop]# vim core-site.xml



fs.default.name
hdfs://CH0:9000



hadoop.tmp.dir
/usr/lib/hadoop/hadoop-2.7.1/tmp

8、配置hdfs-site.xml

[root@CH0 hadoop]# vim hdfs-site.xml 




dfs.replication
1



dfs.permissions
false

9、修改mapred-site.xml

• 这个文件初始时是没有的，有的是模板文件

• 所以需要拷贝一份，并重命名为mapred-site.xml

• 执行：

  [root@CH0 hadoop]# cp mapred-site.xml.template mapred-site.xml
  
  
  
  mapreduce.framework.name
  
  yarn
  
  
  

10、修改yarn-site.xml

[root@CH0 hadoop]# vim yarn-site.xml
      



yarn.resourcemanager.hostname

CH0




yarn.nodemanager.aux-services
mapreduce_shuffle

11、配置slaves文件

[root@CH0 hadoop]# vim slaves

CH0

12、创建hadoop的tmp文件

[root@CH0 hadoop]# cd ../../
[root@CH0 hadoop-2.7.1]# mkdir tmp

13、配置hadoop的环境变量

[root@CH0 hadoop-2.7.1]# vim /etc/profile
#java env
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171
HADOOP_HOME=/usr/lib/hadoop/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JRE_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME PATH CLASSPATH HADOOP_HOME
[root@CH0 hadoop-2.7.1]# source /etc/profile

14、格式化namenode

• 执行：

  [root@CH0 hadoop-2.7.1]# hadoop namenode -format
  

• 当出现：successfully，证明格式化成功

  2018-05-19 03:58:06,692 INFO common.Storage: Storage directory /usr/lib/hadoop/hadoop-2.7.1/tmp/dfs/name has been successfully formatted.
  

• 如果不好使，重启Linux

15、启动hadoop

[root@CH0 hadoop-2.7.1]# cd sbin/
[root@CH0 sbin]# sh start-dfs.sh

16、测试hadoop是否启动

[root@CH0 sbin]# jps
1648 NameNode
1766 DataNode
2027 Jps
1918 SecondaryNameNode

17、jps启动后，50070页面无法访问解决

整个环境下JDK正常，hadoop配置文件正常，各个守护进程正常启动，防火墙已关闭，但是启动后无法从浏览器中访问50070、50030端口，显示无法访问

[root@CH0 sbin]# jps
1648 NameNode
1766 DataNode
2027 Jps
1918 SecondaryNameNode

原因：namenode初始化默认端口失效，需要手动修改配置文件设置默认端口
1、在hdfs-site.xml 添加如下：

dfs.http.address
0.0.0.0:50070

2、然后重新格式化namenode，启动hadoop。最终访问正常
     0.0.0.0是本地对应的地址，具体情况视ip更换
     50070 - Hadoop DFS 状态