hadoop 问题:

一:ssh:Could not resolve hostname *

问题1

解决办法:

``

使用vim /etc/profile 添加如下的环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native  

export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib  

``

二:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

无法加载库文件警告,不影响初步使用.

三:用windows连接虚拟机上的hadoop下载文件时报错

问题2

使用日志发现报错显示

此为本地windows环境变量配置问题,需要下载Windows binaries for Hadoop versions

下载地址:https://github.com/steveloughran/winutils

找到对应的hadoop版本,本人使用的是2.7.5只能下载2.7.1版本的文件

然后配置环境变量到PATH重新启动电脑,

环境变量

四 mapreduce 找不到class问题

原因是在设置主方法时没有设置下图获取路径方法

五 hadoop datanode 在三个linux中启动,但是在namenode 中不显示的问题

首先需要保证在namenode 所在的linux中添加ip地址和名称的对应,直接使用ip地址是不行的

使用 vim /etc/hosts 将ip和域名一一对应,

添加新的datanode节点的时候需要将域名添加到namenode所在的hosts中,同时需要确保新的节点的temp中为空.