Hadoop警告:WARN util.NativeCodeLoader

目录

 

一、原因分析

二、解决办法


一、原因分析

当hadoop配置完成运行类似  bin/hdfs dfs ....之类的命令时,有时候会出现以下警告:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

意思是当前平台不能加载(不兼容)hadoop包,hadoop包在lib目录下

也有人说这是hadoop的预编译包是32bit的,运行在64bit上就会有问题,下面看一下是不是这个问题。

如何验证64bit还是32bit?

进入hadoop 的 lib/native目录下:

$ cd /opt/modules/hadoop-2.9.1/lib/native

用ldd命令查看依赖库

$ ldd libhadoop.so.1.0.0

会输出如下信息:

[whj@whj01 native]$ ldd libhadoop.so.1.0.0
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
    linux-vdso.so.1 =>  (0x00007ffe007d0000)
    libdl.so.2 => /lib64/libdl.so.2 (0x00007f27e5ca9000)
    libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f27e5a8b000)
    libc.so.6 => /lib64/libc.so.6 (0x00007f27e56f7000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f27e60d8000)

Hadoop警告:WARN util.NativeCodeLoader_第1张图片

可以看到依赖的都是/lib64/的动态库,所以不是64位/32位问题。但是看到报错,GLIBC_2.14找不到,现在检查系统的glibc库,  ldd --version即可检查。
输入命令:

$ ldd --version

原来系统预装的glibc库是2.12版本,而hadoop期望是2.14版本,所以打印警告信息。

二、解决办法

方法一:

下载对应版本的源码包进行编译,编译成功后将HADOOP_HOME/lib/native/目录下的内容用编译后的内容全部替换。

hadoopa源码编译请参考《本地编译Hadoop2.9.1源码总结》,这里详细介绍了hadoop源码的编译步骤。

Hadoop警告:WARN util.NativeCodeLoader_第2张图片

替换后即可成功解决警告问题

方法二:

直接在log4j日志中去除告警信息,在HADOOP_HOME/hadoop-2.9.1/etc/hadoop/log4j.properties文件中添加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

Hadoop警告:WARN util.NativeCodeLoader_第3张图片

 

你可能感兴趣的:(大数据篇之Hdfs)