hadoop本地环境设置及问题解决

首先进行如下设置:
conf.set(“mapreduce.framework.name”, “local”); //设置mapreduce框架为本地
conf.set(“fs.defaultFS”, “file:///”); //设置文件系统为本地windos
这两项其实是默认配置,不用设置,此处是为了更好的理解

环境变量中需要设置HADOOP_HOME路径
debug configure输入参数时:D:/input D:/output 与windos下相反,采用的时linux的格式


问题2:hadoop解决Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps

分析:是由于之前开发时都只用到了hdfs的架包,没有完全导入所有hadoop的包,导致本次缺少yarn的包

解决办法:
build path–>configure build path–>add external jars,
找到D:\hadoop-2.6.5\share\hadoop\yarn,添加即可


问题3:Hadoop 2.4.1 UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0
解决办法:
网上目前大多是将hadoop.dl添加到C:\Windows\System32上,试过后无用。
采用另一位解决办法有效:
Windows - Preference - Java - Installed JREs- 然后在右边 添加你的64位的 JDK的路径。
个人理解:之前由于虚拟机中报错jdk版本过高,本人在eclipse中又加了一个1.7jdk,这次按照以上办法恢复称jdk1.8的就ok了


结果:成功
hadoop本地环境设置及问题解决_第1张图片

你可能感兴趣的:(工具使用及环境准备)