NativeCodeLoader: Unable to load native-hadoop library for your platform
至今为止，搭建的所有集群里都有这个错误：
14/08/24 05:07:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
断断续续地尝试了网上的所有方法，就是觉得比较靠谱的，按照步骤，也没成功过。
今天到公司无偿加班，完成自定任务后，又尝试着解决这个问题，竟然Okay了。
1.系统是64位的；JDK是64位的；hadoop本地库也是64位的，自己编译的。
2.打开hadoop控制台debug输出
export HADOOP_ROOT_LOGGER=DEBUG,console
看到下面的相关输出：
14/08/24 05:14:14 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library... 14/08/24 05:14:14 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path 14/08/24 05:14:14 DEBUG util.NativeCodeLoader: java.library.path=/opt/hadoop-2.4.1/lib 14/08/24 05:14:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1）no hadoop in java.library.path：在java的本地库路径中没有找到hadoop的本地库
2）java.library.path=/op/hadoop-2.4.1/lib ：本地库路径是/op/hadoop-2.4.1/lib
去/op/hadoop-2.4.1/lib路径下面查看，只一个native目录，native目录下面才是hadoop的本地库。
3.想到之前在网上找答案的时候，有个版本是让在环境变量加上下面这两句话：
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
第一个配置应该是没有问题
就是第二个的事了，将第二个配置改成：
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
启动NameNode，然后运行一个命令看看：
14/08/24 05:47:13 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library... 14/08/24 05:47:13 DEBUG util.NativeCodeLoader: Loaded the native-hadoop librarydebug出现这样的信息，NameNode已经可以了。 4.但是发现所有的DataNode机器，还是不行，Debug信息如下：
14/08/24 05:26:37 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library... 14/08/24 05:26:37 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path 14/08/24 05:26:37 DEBUG util.NativeCodeLoader: java.library.path=/opt/hadoop-2.4.1/lib/native 14/08/24 05:26:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable从上面的debug信息可以看出，改的java.library.path生效了，但是还是显示路径中没有找到。
5.hadoop本地库明明就在native目录下面，亲眼看见的，NameNode也生效了，怎么在DataNode节点的机器上就找不到！！
没办法了，看源码吧，在org.apache.hadoop.util.NativeCodeLoader.java中有这样一段代码
static {
// Try to load native hadoop library and set fallback flag appropriately
if(LOG.isDebugEnabled()) {
LOG.debug("Trying to load the custom-built native-hadoop library...");
}
try {
System.loadLibrary("hadoop");
LOG.debug("Loaded the native-hadoop library");
nativeCodeLoaded = true;
} catch (Throwable t) {
// Ignore failure to load
if(LOG.isDebugEnabled()) {
LOG.debug("Failed to load native-hadoop with error: " + t);
LOG.debug("java.library.path=" +
System.getProperty("java.library.path"));
}
}
if (!nativeCodeLoaded) {
LOG.warn("Unable to load native-hadoop library for your platform... " +
"using builtin-java classes where applicable");
}
}
发现代码中加载的类库的名字是hadoop，也就是在linux操作系统上，这个文件的名是libhadoop.so。
6.去native目录下面ll一下：
-rw-r--r-- 1 root root 971954 Aug 23 23:28 libhadoop.a -rw-r--r-- 1 root root 1487284 Aug 23 23:28 libhadooppipes.a -rwxr-xr-x 1 root root 0 Aug 24 05:41 libhadoop.so -rwxr-xr-x 1 root root 584656 Aug 23 23:28 libhadoop.so.1.0.0 -rw-r--r-- 1 root root 582040 Aug 23 23:28 libhadooputils.a -rw-r--r-- 1 root root 298170 Aug 23 23:28 libhdfs.a -rwxr-xr-x 1 root root 0 Aug 24 05:41 libhdfs.so -rwxr-xr-x 1 root root 200018 Aug 24 04:43 libhdfs.so.0.0.0发现有这个文件，libhadoop.so。但是大小是0.
7.就去NameNode端的native目录下面看一下，发现是这样的：
-rw-rw-r-- 1 hdfs hadoop 971954 Jul 30 07:47 libhadoop.a -rw-rw-r-- 1 hdfs hadoop 1487284 Jul 30 07:47 libhadooppipes.a lrwxrwxrwx 1 hdfs hadoop 18 Aug 23 22:11 libhadoop.so -> libhadoop.so.1.0.0 -rwxrwxr-x 1 hdfs hadoop 584656 Jul 30 07:47 libhadoop.so.1.0.0 -rw-rw-r-- 1 hdfs hadoop 582040 Jul 30 07:47 libhadooputils.a -rw-rw-r-- 1 hdfs hadoop 298170 Jul 30 07:47 libhdfs.a lrwxrwxrwx 1 hdfs hadoop 16 Aug 23 22:11 libhdfs.so -> libhdfs.so.0.0.0 -rwxrwxr-x 1 hdfs hadoop 200018 Jul 30 07:47 libhdfs.so.0.0.0原来是个符号链接文件。
应该就是问题所在了，于是将DataNode端的libhadoop.so和libhdfs.so删除，然后重做符号链接。就可以了。
8.总结一下，就是有3个地方需要注意：
1）OS位数，JDK位数，Hadoop本地库位数要一致
2）配置java.library.path能够找到Hadoop的本地库。
3）Hadoop自己要找的本地库的名字是libhadoop.so这个文件，确保有这个文件，这个文件时libhadoop.so.1.0.0这个文件的软链接，libhdfs.so也是同样的情况