配置Hadoop伪分布式

1.上传并解压JDK、hadoop安装包。

2.配置JDK、hadoop环境变量。

3.修改配置文件。

3.1进入hadoop配置文件目录

#进入/opt/apps/hadoop/etc/hadoop配置文件目录,/opt/apps/hadoop为hadoop软件包的根路径
cd /opt/apps/hadoop/etc/hadoop

3.2修改hadoop-env.sh里面的JDK路径。

vi hadoop-env.sh 

3.3修改core-site.xml文件。

#创建hdfs文件存储目录
mkdir -p /opt/apps/hadoop/tmp
# 在hadoop的etc/haoop目录中找到core-site.xml
vi core-site.xml

core-site.xml。

主机名修改为免密登录时的主机名，不然免密登录不生效。

<property>
     <name>fs.defaultFSname>
    
     <value>hdfs://localhost:9000value>
 property>
 <property>
     <name>hadoop.tmp.dirname>
     <value>/opt/apps/hadoop/tmpvalue>
property>

3.4修改hdfs-site.xml文件。

vi hdfs-site.xml

<property>
     <name>dfs.replicationname>
     <value>1value>
property>

3.5格式化名称节点。

hdfs namenode -format

3.6配置mapred-site.xml。

根据已有的配置文件模板复制一份出来。

cp mapred-site.xml.template mapred-site.xml

<property>
     <name>mapreduce.framework.namename>
     <value>yarnvalue>
property>

3.7通过start-all.sh命令启动hdfs和yarn。

3.8通过jps查看Hadoop伪分布式的进程。

3.9关闭centos7防火墙。

# 通过命令关闭防火墙
systemctl stop firewalld
# 禁止防火墙开机自启
systemctl disable firewalld

3.10通过web形式访问HDFS。

HDFS web地址http://192.168.26.111:50070/

YARN web地址http://192.168.26.111:8088/cluster

参考文献

伪分布式参考博客 https://blog.csdn.net/JunLeon/article/details/120504843