在windows10下利用myeclipse运行hadoop

Windows10环境下配置Hadoop

具体可以参考马士兵老师的官网:http://www.mashibing.com

下载代码资源包

  • 下载hadoop-2.7.3安装包,可以去官网下载
  • 下载winutils等文件
  • bin目录下载地址

在windows下配置Hadoop-2.7.3的环境变量。

HADOOP_HOME=D:/hadoop-2.7.3
path = %HADOOP_HOME%\bin

问题一:Exception in thread “main” ExitCodeException exitCode=-1073741701:

这时你进到bin目录下 双击winutils.exe 是否有弹窗报错,如果有则去一下网站解决这个问题 DirectX修复,或者你直接下载微软常用运行库合集,我的360安全卫士直接自动下载了。

问题二:util.Shell: Failed to locate the winutils binary in the hadoop binary path Java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

出现这个问题如果确认你的winutils.exe没有问题那么一般有两个原因
1,在上面程序中System.setProperty中制定的有问题。
2,配置环境配置的有问题。

问题三:Exception in thread “main”java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.acc

分析:

C:\Windows\System32下缺少hadoop.dll,把这个文件拷贝到C:\Windows\System32下面即可。

解决:

hadoop-common-2.2.0-bin-master下的bin的hadoop.dll放到C:\Windows\System32下,然后重启电脑,也许还没那么简单,还是出现这样的问题。

我们继续分析:
我们在出现错误的的atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:423)我们来看这个类NativeIO的423行

public static boolean access(String path, AccessRight desiredAccess)
    throws IOException {
  return access0(path, desiredAccess.accessRight());
}

修改为:

public static boolean access(String path, AccessRight desiredAccess)
        throws IOException {
      return true;
    }

附上NativeIO.java文件源代码(我的hadoop没有):
http://code.taobao.org/svn/hivesource/trunk/common/src/org/apache/hadoop/io/nativeio/NativeIO.java

问题四:Exception in thread “main” java.lang.IllegalArgumentException: java.net.UnknownHostException: master

UnknownHostException
Hosts文件没修改? master这个地址能ping通?
解决方法:在hosts文件中添加master的ip地址,使名称和IP映射。

参考:
http://www.bkjia.com/ASPjc/931209.html
http://www.cnblogs.com/cstzhou/p/5495434.html

你可能感兴趣的:(机器学习)