使用Hadoop API操作HDFS文件时遇到的问题及解决总结

1、报错信息“提示找不到或无法加载主类”

       解决步骤: (1)检查函数中有无main方法;

    (2)检查用java 命令 时输入的类名是否正确;

    (3)检查classpath设置是否正确;

    (4) 类是否是在某一个包下面(即类文件中有package person;类似的内容);如果有得话,千万不要在命令行窗口中进到person这个包的目录下,去编译运行     java类, 而要到 包所在的目录中去编译运行,即在person所在的包,而不是person包里面,去编译运行。

         像这样的问题,一般都是包得问题引起的,源文件中不要使用package语句,如果使用了,编译时,则要用“javac -d . 类名.java”,然后使用"java 包名.类名"。

2、hadoop中用create()API在HDFS中创建目录没报错,但是却没看到创建的目录

      解决步骤:(1)检查conf文件是否正确,是否设置fs.default.name;如

  core-site.xml文件中配置是:

<property>

       <name>fs.default.name</name>

      <value>hdfs://localhost:9000</value>

      </property>

还有hdfs-site.xml、mapred-site.xml,自行设置好。

   (2)检查这些配置文件是否在classpath下,如果不在,添加进去即拷贝到存放类文件的目录;

   (3)或者在new Configuration()之后,调用set("fs.default.name","hdfs://localhost:9000")(根据情况设置)等。

3、报错信息“Unable to load native-hadoop library for your platform”

解决步骤:(1)检查Hadoop本地库的实际路径,一般是$HADOOP_HOME/lib/native/Linux-amd64-64/

    (2)在启动JVM时,在java命令中添加java.library.path属性即可,如下:
-Djava.library.path=$HADOOP_HOME/lib/native/Linux-amd64-64/

   (3)或者使用LD_LIBRARY_PATH系统变量也能解决此问题,如下:
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/Linux-amd64-64/

你可能感兴趣的:(使用Hadoop API操作HDFS文件时遇到的问题及解决总结)