Hadoop伪分布式模式配置并运行wordcount

一、基础安装配置
首先要完成jdk+hadoop的安装配置；

此处附上jdk+hadoop的安装配置的连接：
https://blog.csdn.net/Wxp_csdn/article/details/90439386

二、修改以下5个配置文件
在< configuration>与< /configuration>之间添加如下property：
①core-site.xml

        fs.defaultFS
        hdfs://bigdata128:9000



        hadoop.tmp.dir
        /opt/module/hadoop-2.7.3/tmp

②hdfs-site.xml

			 
		 
	     dfs.replication		 
	     1		 
		
 

         dfs.namenode.secondary.http-address
         bigdata128:50090

③mapred-site.xml(该配置文件不存在，先复制)
cp mapred-site.xml.template mapred-site.xml

			 
			 
	  mapreduce.framework.name 
	  yarn 

④yarn-site.xml

			 
			 
	  yarn.resourcemanager.hostname 
	  bigdata128 
	 
			 
	 
	  yarn.nodemanager.aux-services 
	  mapreduce_shuffle 
	 

注意：以上配置文件里面的bigdata128要换成你的虚拟机ip地址。

⑤Slaves文件里使用默认localhost，或者添加 bigdata128（既是NameNode又是DataNode）
注：如果Slaves文件为空，就没有DataNode和NodeManager。

⑥修改\etc\hosts配置文件
运行命令 vi \etc hosts
注释掉已有内容，添加虚拟机的ip及对应主机名：
虚拟机ip bigdata128

⑦修改\etc\hostname配置文件
运行命令 vi \etc hostname
添加虚拟机的主机名：
bigdata128
重启虚拟机，主机名生效。

三、格式化
hdfs namenode -format （如果不是第一次格式化，格式化之前先删除/opt/module/hadoop-2.7.3/下面的tmp、logs两个目录）

四、启动
start-all.sh （如果启动之前已经启动过，启动之前先停止stop-all.sh）
查看伪分布式配置是否成功：
①执行ll，查看/opt/module/hadoop-2.7.3/tmp/dfs目录，如下图所示，则正确。
②执行jps，如下图所示，NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动，伪分布式配置成功。

③web控制台访问：http://虚拟机ip:50070 、http://虚拟机ip:8088
页面正常显示，则成功。

五、运行wordcount
hdfs dfs -put in.txt /adir 上传本地当前路径下的in.txt文件 到hdfs的/adir目录下。
运行hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /adir/in.txt output/。
在http://虚拟机ip:50070 查看/user/root/output/part-r-00000文件里的词频统计结果。

六、SSH免密码登陆（解决每次启动hadoop输入用户密码问题）
生成公、私密钥对：ssh-keygen -t rsa 按3次回车键
查看：cd ~/.ssh路径下面的rd_rsa和rd_rsa.pub
复制：ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata128
查看生成authorized_keys。