hadoop的伪分布模式配置

• 文件位置在/soft/hadoop/etc/hadoop/

　　　　　　
               
                   fs.defaultFS
                   hdfs://localhost/   
               
           

            
                
                    dfs.replication
                    1
                
            

• 注意！！复制一份mapred-site.xml.template为mapred-site.xml，原来没有这个文件！！

            
                
                    mapreduce.framework.name
                    yarn
                
            

            
                
                
                    yarn.resourcemanager.hostname
                    localhost
                
                
                
                    yarn.nodemanager.aux-services
                    mapreduce_shuffle
                
            

• 配置SSH，目的时为了名称节点远程登陆数据节点时不用输密码，配一个无密登陆的ssh

1) 安装ssh ------sudo apt-get install ssh
2) 生成无密的密钥文件 -----ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
3) 导入公钥到节点密钥库 ------cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4)试试登陆localhost，第一次询问输入yes，后面就可以免密登陆了，exit再退出localhost（伪分布式只能登陆本机lcoalhost测试）

• 配一个宿主机s100和s101的免密登陆SSH（不需要这个操作，补充的）

需要把s100的公钥文件发给s101的authorized_keys文件中，用nc指令即可。

• 格式化hdfs文件系统 hadoop namenode -format
• 启动所有进程 start-all.sh
• jps查看进程，有五个进程，如果进程不对，stop-all.sh结束所有进程后检查配置文件，然后格式化hdfs文件系统后启动
• 查看hdfs资源目录，第一次应该是没有的 hadoop fs -ls
• 创建hdfs资源目录，hadoop fs -mkdir -p /user/ubuntu/data
• 查看hdfs资源目录，hadoop fs -ls -r /
• 关机后需要重新格式化hdfs文件系统，即hadoop namenode -format,若发现进程少了，可以在/soft/hadoop/logs下查看相应进程的日志文件