linux搭建单机版和伪分布式hadoop

前提:我使用的window操作系统，然后下载的VMware创建虚拟机，然后在xshell中进行操作，并使用filezilla进行文件的上传。这些可以自行百度搜索下载。

单机版hadoop环境搭建

首先我们用VMware创建一个新的虚拟机。创建过程不在细说了。
创建完成后，useradd hadoop添加用户，并添加密码。
然后ip addr查询一下ip在xshell和filezilla上连接一下。
然后在/home/hadoop下将jdk和hadoop的压缩包上传。不上传也可以使用wget+网址直接下载。

然后在xshell下使用hadoop 用户登录解压。
tar -xvf jdk-8u181-linux-x64.tar.gz

tar -xvf hadoop-2.7.3.tar.gz

解压完成后需要配置环境变量。
我们想在hadoop用户下进行配置 /etc/profile就需要获得权限。
那么首先
su
到root用户下
visudo
:set nu

会在第92行找到root ALL=(ALL) ALL
我们需要在下面添加一个 hadoop ALL=(ALL) ALL
:wq保存退出 exit退出切换到hadoop用户
然后就可以在hadoop用户下使用 sudo vi /etc/profile 编辑了。
然后将JAVA_HOME和HADOOP_HOME和PATH配置好。

然后我这是配完的。
配完后。
先执行以下 /etc/profile文件
使用java -version和hadoop version查看版本号。

然后这是我的版本。
然后可以测试以下单机版hadoop是否搭建成功。我们可以使用/home/hadoop/hadoop2.7.3/share/hadoop/mapreduce下的hadoop-mapreduce-examples-2.7.3.jar包测试以下。
首先mkdir ~/input
touch ~/input/test.txt
vi ~/input/test.txt 下随便编辑几个单词。
保存退出。
然后执行
hadoop jar ~/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/ ~/output
最后查看一下输出

这样单机版的hadoop就搭建成功啦。

伪分布式版hadoop搭建

前提:关闭防火墙,并搭建了单机版的hadoop
首先
cd /home/hadoop/hadoop-2.7.3/etc/hadoop
然后ls 查看一下指令

开始修改配置

(1)hadoop-env.sh
vi hadoop-env.sh
①($JAVA_HOME路径设置成/home/hadoop/jdk1.8.0_181)即你配置的JAVA_HOME路径

(2)core-site.xml
vi core-site.xml
①fs.defaultFS：
1)默认是本地文件系统file:///
2)使用URL统一资源定位符的格式设置成hdfs://192.168.15.135:9000
②hadoop.tmp.dir:存放hadoop临时文件的文件目录

(3)hdfs-site.xml:
①dfs.namenode.name.dir：namenode所在路径(该路径需要允许当前登录的用户具有写的权限)
②dfs.datanode.data.dir：datanode所在路径(该路径需要允许当前登录的用户具有写的权限)
vi hdfs-site.xml

(4)yarn-site.xml
①yarn.nodemanager.aux-services：使用mapreduce_shuffle机制

(5)Mapred-site.xml（cp Mapred-site.xml.templete）
①Mapreduce.framework.name：yarn
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

这样就改好配置了。

格式化HDFS

hadoop namenode -format

当你在最后10行左右看到Storage:…successfully那么就已经成功啦。

最后启动一下服务查看一下

start-all.sh
一直yes和输入密码就行了
完成后输入jps

当你出现如下图则表示伪分布式hadoop搭建成功啦。
最后输入192.168.15.135:50070（你的ip:50070）就可以访问啦