hadoop win10环境搭建之踩坑

搭建方式可参考：
https://www.jianshu.com/p/faf038923093

参上以上内容搭建即可，但是存在如下四个问题需要补充：

1. 需要bin目录替换，至 https://github.com/steveloughran/winutils下载对于版本的bin，并添加到hadoop中即可。
2. nodemanger无法启动
3. 启动nodemanager存在路径无法打开的问题
4. wordcount无法运行

解决方案：
针对2,3,4三个问题，首先yarn-site.xml的内容需要修改为

    

          

        yarn.nodemanager.aux-services      

        mapreduce_shuffle    

        

          

        yarn.nodemanager.aux-services.mapreduce.shuffle.class              
        org.apache.hadoop.mapred.ShuffleHandler    

    

    

        

        yarn.nodemanager.resource.cpu-vcores

        1

    

    

        

        yarn.nodemanager.resource.memory-mb

        4096

    

    

        yarn.nodemanager.log-dirs

        /C:/hadoop-3.2.2/logs/yarn

    

2. hadoop启动时候需要使用管理员方式打开cmd启动start-all
3. 每个节点的可用最大内存需要注意分配的大一些，此处分配为4096，之前分配为2048，若分配的小了，会存在map 0 reduce 0 情况