问题org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V的解决方案

编号001(这一行为我自己为了方便起的标识,你们可以忽略……)

最近编写了一个mapreduce程序,在eclipse中执行发现出现这个问题,百度各种方案都不行,花了好久才解决,现在把最近看过和亲测过的方案整理如下,希望能让别人早日出坑。
前提条件:

  1. Hadoop集群(hadoop2.7.3)
  2. Java编译环境(jdk1.8)
  3. 操作系统:win7
  4. IDE:eclipse
  5. hadoop插件

下载附件
链接:https://pan.baidu.com/s/11hGqS-8d5fPCaS6-LcgM8g
提取码:14wv

这个问题主要是hadoop.dll版本问题

  1. 首先将附件中的hadoop2.7.3解压到本地一个目录下(例如:D:\hadoop\hadoop-2.7.3,注:目录不要有空格!!!,如果有空格之后修改配置文件自己去百度如何转义,jdk和hadoop目录最好都不要有空格)

  2. 配置环境变量
    一、新建一个环境变量
    HADOOP_HOME=D:\hadoop\hadoop-2.7.3
    二、在Path环境变量后面追加:%HADOOP_HOME%\bin

  3. 到eclipse中为hadoop插件定位安装目录
    问题org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V的解决方案_第1张图片

  4. 配置hadoop连接参数
    问题org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V的解决方案_第2张图片

5.然后连接成功我们就可以在DFSLocation看到自己hdfs中的文件列表了
问题org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V的解决方案_第3张图片

  1. 将附件中bin中的hadoop.dll和winutils.exe拷贝到hadoop2.7.3下的bin目录下(应该只拷贝这两个文件即可,不过我在网上下载发现有好几个其他文件就都拷过去了,也没什么问题,你们可以试试只拷贝这两个文件能不能解决问题,可以告诉我一下)
  2. 将hadoop.dll文件放在C:\Windows\System32目录下
  3. 再运行程序即可执行成功!

补充: 有的人说是这种通法解决不了问题,可以试试在代码中强制加载hadoop.dll文件试试

static {
    try {
    	System.load("D:/Hadoop/hadoop-2.7.3/bin/hadoop.dll");
    } catch (UnsatisfiedLinkError e) {
      System.err.println("Native code library failed to load.\n" + e);
      System.exit(1);
    }
}

参考:https://blog.csdn.net/wyxeainn/article/details/81413544

你可能感兴趣的:(Hadoop,大数据,问题集,运行mapreduce程序问题,hadoop,MapReduce)