解决 hadoop 命令警告 Unable to load native-hadoop library for your platform...
学习hadoop过程中在虚拟机centos上执行hadoop fs命令时出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable错误。
在网上搜索问题，将解决方法记录下来。
1.首先打开hadoop的详细日志输出功能，方法是设置环境变量。
export HADOOP_ROOT_LOGGER=DEBUG,console 或者在~/.bash_profile 中添加
2.再次执行hadoop fs 命令查看错误信息
如下：
......
17/07/28 08:37:34 DEBUG security.Groups: Creating new Groups object
17/07/28 08:37:34 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
17/07/28 08:37:34 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.Unsat
isfiedLinkError: /home/xhc/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /home/xhc/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0)17/07/28 08:37:34 DEBUG util.NativeCodeLoader: java.library.path=/home/xhc/hadoop-2.5.2/lib/native
17/07/28 08:37:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
using builtin-java classes where applicable17/07/28 08:37:34 DEBUG security.JniBasedUnixGroupsMappingWithFallback: Falling back to shell based
17/07/28 08:37:34 DEBUG security.JniBasedUnixGroupsMappingWithFallback: Group mapping impl=org.apache.h
adoop.security.ShellBasedUnixGroupsMapping17/07/28 08:37:34 DEBUG security.Groups: Group mapping impl=org.apache.hadoop.security.JniBasedUnixGrou
psMappingWithFallback; cacheTimeout=300000; warningDeltaMs=500017/07/28 08:37:34 DEBUG security.UserGroupInformation: hadoop login
......
3.根据红色标记的日志内容，java在调动native（本地）方法时报错，libhadoop.so.1.0.0 需要的GLIBC 2.14 找不到。
4.使用$ ll /lib64/libc.so.6 命令查看当前glibc 版本，
如下：
lrwxrwxrwx. 1 root root 12 Jul 28 12:32 /lib64/libc.so.6 -> libc-2.12.so
5.当前版本2.12不满足2.14的需求，升级glibc版本。
下载网址：http://ftp.gnu.org/gnu/glibc/
根据网上介绍安装glibc需要用到glibc 和 glibc-linuxthreads 这2个源码，然后编译并安装。
我下载了glibc-2.14.tar.gz 和 glibc-linuxthreads-2.5.tar.bz2 。
6. 安装glibc
例如当前在 /home/username/目录下
1）解压：tar -zxvf glibc-2.14.tar.gz
2）进入解压出来的目录：cd glibc-2.14
3）解压另一个tar：tar -jxvf glibc-linuxthreads-2.5.tar.bz2
4）返回到上一级目录：cd ..
5）设置优化开关（照抄还不了解具体含义）：export CFLAGS="-g -O2"
6）创建安装文件目录：mkdir glibc-build
7）进入安装目录编译并安装
$ cd glibc-build
$ ../glibc-2.7/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin --disable-sanity-checks
$ make
$ su root
$ make install
我安装结束时提示有error，没去管
make[1]: *** [install] Error 1
make[1]: Leaving directory `/home/xhc/resources/glibc-2.14'
make: *** [install] Error 2
8）查看glibc版本：ll /lib64/libc.so.6
lrwxrwxrwx. 1 root root 12 Jul 28 12:32 /lib64/libc.so.6 -> libc-2.14.so
发现已经升级到2.14
9）运行hadoop fs 命令，查看是否正常
将hadoop日志输入改为INFO
export HADOOP_ROOT_LOGGER=INFO,console 或vi ~/.bash_profile 中修改
$ hadoop fs -cat /input.txt
1.hello world!
2.你好
3.1+1=2
发现不再出现WARN，处理完毕
其他解决方法。
同样的问题WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
会有其他情况和解决方法：
1. $HADOOP_HOME/lib/native/libhadoop.so.1.0.0 是用32位编译的，但是hadoop运行在64位的centos上就会出现这个问题，可以在64位系统中编译hadoop源码然后将libhadoop.so.1.0.0覆盖原来的32位的。
2. hadoop 找不到libhadoop.so.1.0.0 ,需要设置环境变量：export JAVA_LIBRARY_PATH='/usr/local/sinasrv2/hadoop/hadoop-2.6.4/lib/native'
借鉴的文章：
升级glibc来解决方法：http://www.cnblogs.com/maydow/p/5295065.html、http://blog.csdn.net/liws2010/article/details/45699047
操作系统位数与hadoop不匹配的解决方法：http://blog.csdn.net/young_kim1/article/details/50324345 、 https://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-warning
找不到libhadoop.so.1.0.0的解决方法：http://blog.csdn.net/yesuhuangsi/article/details/51832170
感谢先行者的记录分享