hadoop安装03

本次我们来完成yarn的安装 ,让mapreduce跑在yarn上面 , 前提完成了hadoop安装02(http://blog.csdn.net/dajiangu/article/details/51547471);

step1 配置一下参数文件

# vim etc/hadoop/mapred-site.xml


    
        mapreduce.framework.name
        yarn
    


# vim etc/hadoop/yarn-site.xml


    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

step2 启动ResourceManager和NodeManager进程

# sbin/start-yarn.sh

step3 浏览ResourceManager的web界面

默认地址是http://{ip}:8088/ ,如果端口被占用或者修改了, 可查询文档修改,此处端口也相应变化

step4 运行一个MapReduce作业

此处运作mapreduce请参考hadoop安装02(http://blog.csdn.net/dajiangu/article/details/51547471)如何验证的 ,只是这次运行在yarn上

# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'

# bin/hadoop fs -cat output/*

step5 停止yarn

# sbin/stop-yarn.sh

你可能感兴趣的:(Hadoop安装)