hadoop伪分布式配置

书接上文 linux安装hadoop

进入hadoop安装目录，将配置文件复制出一份用于修改，下图中hadoop_pseudo就是复制出来的配置目录

进入到新复制的hadoop_pseudo目录中

1、修改core-site.xml

2、修改hdfs-site.xml

3、修改yarn-site.xml

4、修改mapred-site.xml

到此为止配置文件就改完了

接下来我们要配置ssh免密码登录

执行命令：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

我们在~/.ssh目录下生成了公钥和私钥，然后执行cat id_rsa.pub >> authorized_keys，目录下就多了一个authorized_keys

配置完成后执行 ssh localhost 校验免密码登录是否设置成功

卡到这个样子就是免密登录配置成功率了

接下来我们执行格式化命令：hadoop namenode -format，这个地方只要没有报错就是执行成功了，如果不放心可以到dfs中看下对应的name、data目录是否被创建出来。我没有指定数据存放路径，默认给我搞到 /tmp/hadoop-root/dfs/ 目录下，可以看到三个节点对应的文件夹已经创建好了

启动hdfs，执行命令：start-dfs.sh

启动yarn，执行命令：start-yarn.sh

这样hadoop就算启动起来了，我们用jps命令看一下java进程，看到下面这几个进程都启动了，基本就成功了

在看下管理页面，访问${ip}/50070

在看下管理页面，访问${ip}/8088

两个页面都看到了，hadoop伪分布式就部署成功了

对了我们可以试一下hadoop fs -ls / 这个命令了，执行后看到的是空

在分布式文件系统下，我们可以使用类似linux的文件操作，比如hadoop fs -mkdir /licheng 创建一个文件，再次执行 hadoop fs -ls / 查看，好像不一样了哦

剩下的命令自己试试吧

对了，关闭hdfs&yarn要使用对应的stop命令：

stop-yarn.sh

stop-dfs.sh