Linux安装Hadoop软件

书到用时方恨少

---

1.首先在/home/下创建一个文件夹叫hadoop

image.png

2.进入到hadoop文件夹下，下载hadoop包

image.png

3.解压刚刚下载的hadoop文件包

image.png

4.配置hadoop

1.单机模式配置方式
安装单机模式的Hadoop无须配置，在这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试。
2.伪分布式模式配置
可以把伪分布式的Hadoop看作一个节点的集群，在这个集群中，这个节点既是Master，也是Slave；既是NameNode，也是DataNode；既是JobTracker，也是TaskTracker。
3.完全分布式模式
这个就是真正的分布式，通常前两种是便于程序测试与调试用的。

下面我们进行伪分布式的配置

• 1.进入hadoop-*/etc/hadoop/在这个文件夹下

image.png

• 2.使用vim编辑Hadoop-env.sh文件，修改jdk的路径为你的jdk路径

image.png

• 3.继续使用vim编辑core-site.xml文件，这里是配置HDFS的地址及端口号

image.png

• 4.使用vim编辑hdfs-site.xml文件，这是HDFS的配置文件，配置的备份方式默认是3，在单机版中需将其改为1

image.png

• 5.使用vim编辑mapred-site.xml文件，这是MapReduce的配置文件，配置JobTracker的地址及端口，通常情况下是这个文件mapred-site.xml.template，你需要复制一份把template后缀删了

image.png

• 6.截至目前为止，简单的配置已经结束，接下来使用如下命令格式化Hadoop的文件系统HDFS，进入Hadoop文件夹的/bin目录下,输入

image.png

• 7.在启动之前，还需要做一件事，那就是把自己的公钥添加给自己，这样启动Hadoop就不用输密码了，如下

image.png

• 8.进入Hadoop目录下的/sbin目录下输入如下命令启动Hadoop

image.png

• 9.打开浏览器，分别输入网址如下网站，如果能查看，说明已安装成功

http://localhost:8088(MapReduce的Web页面)
http://localhost:50070(HDFS的Web页面)