在Win7 环境使用Java API 上传文件到 Hadoop2.x HDFS 问题统计

 

问题一：

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

解决方案：

 在本地系统（WIN7）的环境变量或java JVM变量里面添加HADOOP_USER_NAME，这个值具体等于多少看自己的情况，以后会运行HADOOP上的Linux的用户名。（修改完重启eclipse，不然可能不生效）

 参考资料：

 http://www.linuxidc.com/Linux/2014-08/105335.htm

 http://www.linuxidc.com/Linux/2014-08/105335p2.htm

 问题二：

WIN7下运行hadoop程序报：Failed to locate the winutils binary in the hadoop binary path

2015-07-06 17:32:26,455 ERROR [main] util.Shell (Shell.java:getWinUtilsPath(336)) - Failed to locate the winutils binary in the hadoop binary path

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

 at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:318)

 at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:333)

 at org.apache.hadoop.util.Shell.<clinit>(Shell.java:326) 

解决方案：

1.下载winutils的windows版本

GitHub上，有人提供了winutils的windows的版本，项目地址是：https://github.com/srccodes/hadoop-common-2.2.0-bin ,直接下载此项目的zip包，下载后是文件名是hadoop-common-2.2.0-bin-master.zip,随便解压到一个目录

2.配置环境变量

增加用户变量HADOOP_HOME，值是下载的zip包解压的目录，然后在系统变量path里增加$HADOOP_HOME\bin 即可。

再次运行程序，正常执行。

参考资料：

http://www.tuicool.com/articles/iABZJj