Hadoop伪分布式安装配置

---

一、修改配置文件

1.修改配置文件hadoop-env.sh

在 /usr/local/java/hadoop-2.7.7/etc/hadoop目录下面修改hadoop-env.sh

执行命令：

cd /usr/local/java/hadoop-2.7.7/etc/hadoop

输入ls查看文件

执行命令：

sudo vi hadoop- env.sh

在hadoop-env.sh中修改

2.修改配置文件core-site.xml

在hadoop目录下执行命令：

sudo vi core-site.xml

3.修改配置文件hdfs-site.xml
在hadoop目录下执行命令：

sudo vi hdfs-site.xml

二、格式化NameNode

执行命令：

hdfs namenode -format  或者 hadoop namenode -format

需要多次输入密码进行验证

启动NameNode和DataNode
执行命令：

start-dfs.sh

检查是否成功启动

三、配置yarn服务

修改配置文件mapred-site.xml

在hadoop目录下执行命令
如果目录中没有mapred-site.xml 执行命令

sudo mv mapres-site.xml.template mapred-site.xml

接着执行命令：

sudo vi mapred-site.xml

输入以下内容：

修改配置文件yarn-site.xml

在hadoop目录下修改文件：

启动yarn服务

start-yarn.sh

在启动过程中需要输入密码进行验证

输入jps查看启动结果

四、SSH免密码登录

1. cd ~/.ssh/
2. ssh-keygen -t rsa（一直按回车键）
3. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4. chmod 700 ~/.ssh （修改~/.ssh的权限为700）
5. chmod 644 ~/.ssh/authorized_keys
6. chmod 700 ~/.ssh/id_rsa
7. chmod 777 ~/.ssh/id_rsa.pub
8. chmod 777 ~/.ssh/known_hosts
9. ssh localhost 免密码登录

再次重新启动分布式文件系统服务的时候，就没有输入密码确认了！

在Web界面输入以下网址，可以查看NameNode和Datanode的信息，也可以在线查看HDFS中的文件

http://localhost:50070