搭建伪分布模式将采用finalshell连接Linux虚拟机,如果不觉得麻烦,也可以直接在Linux虚拟机上进行搭建。
工具:finalshell、Vmware-Linux-centos虚拟机
伪分布模式环境必备:jdk1.8.0-8u311、hadoop2.6.5
进行伪分布搭建之前需要配置jdk环境和下载Hadoop相关文件,具体步骤可参考以下文章配置:
Hadoop单例模式搭建(配置jdk和hadoop)
进入Hadoop文件夹。参考代码如下:
cd /usr/local/hadoop/etc/hadoop
首先进入文件,代码如下:
vi core-site.xml
进入文件后,将以下代码添加到如图红框部分:(进入文件后,按【i】进入编辑模式)(注意:
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/usr/local/hadoop/data
添加成功后,按【Esc】退出编辑模式,输入【:】,再输入【wq】保存并退出
首先进入文件,代码如下:
vi core-site.xml
进入文件后,将以下代码添加到如图红框部分:(进入文件后,按【i】进入编辑模式)
dfs.replication
1
dfs.namenode.secondary.http-address
localhost:50090
dfs.permissions
false
添加成功后,按【Esc】退出编辑模式,输入【:】,再输入【wq】保存并退出
进入文件,代码如下:
vi mapred-site.xml.template
进入文件后,将以下代码添加到如图红框部分:(进入文件后,按【i】进入编辑模式)
mapreduce.framework.name
yarn
添加成功后,按【Esc】退出编辑模式,输入【:】,再输入【wq】保存并退出
进入文件,代码如下:
vi yarn-site.xml
进入文件后,将以下代码添加到如图红框部分:(进入文件后,按【i】进入编辑模式)(注意,添加内容中
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
localhost
添加成功后,按【Esc】退出编辑模式,输入【:】,再输入【wq】保存并退出
进入系统文件,输入代码:
vi /etc/profile
进入文件后,按【i】,进入编辑模式,添加以下内容:
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
添加变量成功后,按【Esc】退出编辑模式,输入【:】,再输入【wq】保存并退出
刷新代码:
source /etc/profile
格式化代码如下:
hdfs namenode -format
如图所示即为格式化成功:
start-dfs.sh
在启动环节中,需要输入三次管理员密码以启动进程--namenode、secondarynamenode、datanode
启动完成后,输入代码:(查看开启的进程)
jps
如图所示即为成功。
start-yarn.sh
在启动环节中,需要输入一次管理员密码以启动进程--resourcemanager、nodemanager
启动完成后,输入代码:(查看开启的进程)
jps
如图所示即为成功。
在访问之前,需要开通HDFS的50070端口和YARN的8088端口,也可以直接关闭LInux虚拟机的防火墙进行访问。
输入一下代码:
firewall-cmd --add-port=50070/tcp --permanent
firewall-cmd --add-port=8088/tcp --permanent
重新载入添加的端口,以生效刚刚添加的端口,输入以下代码:
firewall-cmd --reload
查看端口是否开启成功,代码如下:
firewall-cmd --query-port=50070/tcp
firewall-cmd --query-port=8088/tcp
开启浏览器,输入虚拟机的ip加端口进行访问。如图所示:(例:192.168.***.***:50070)
关闭防火墙,输入以下代码:
systemctl stop firewalld
浏览器访问,输入虚拟机的IP加端口进行访问。如图所示:(例:192.168.***.***:50070)