新手的第一次Hadoop2.6.3分布式安装

问题:

新人吃亏问题,由于三个linux系统是不同时期安装,所以里面文件目录比较混乱,结果在安装hadoop时候每一个节点的hadoop目录不一致,结果启动时候发现未找到其他节点的hadoop_home,所以导致本人再一次重新规范相同路径。(避免新人吃亏)

问题:

Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray  或者

hadoop “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”  或者

UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunke 以上三种一场全是由于位数不一致导致,解决方案如下。(其余待补充)

原因:

这是由于安装的hadoop版本和linux系统位数不匹配问题,保证一致位数。

个人解决方法:

下载对应的64位库文件进行覆盖即可,不必重新全安装。hadoop2.6.3对应的64位库文件下载链接:http://pan.baidu.com/s/1skfbJRJ 密码:mmei。将hadoop-native-64放在lib下的native里面,将“如果报不兼容平台将该文件中内容替换到hadoop的bin目录下”即可!!!

致命坑爹问题:(由学长(山哥)帮助解决,感激不尽)

 新手的第一次Hadoop2.6.3分布式安装_第1张图片

 

坑爹的HOSTS文件中在第一行配置了一个node1(红色标记) 结果安装完毕之后每次启动hdfs和yarn之后,向hdfs上创建文件夹没有问题,但是hadoop dfs -put  data.txt  /则抛异常提示:

hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): 

File /test/data._COPYING_ could only be replicated to 0 nodes  

非常之坑爹啊,这个问题就是由于多配置node1所导致的。

原因:

   node1节点上hosts文件中第一行配置的node1  是将node1直接作为localhost的一个别名,所以每次有node1的时候直接解析成了localhost导致datanode的节点无法连接到namenode上,所以一场提示0 node 。千万需要注意的问题。坑了我7小时之多!!! 

配置:

各个hadoop配置文件不一一讲解,可以下载配置好的Hadoop文件包适当修改,下载链接:链接:http://pan.baidu.com/s/1pKtsSo7 密码:nfsh 

三个节点的hadoop安装包下载地址如下:

链接:http://pan.baidu.com/s/1nufjNgX 密码:k60f



























 

 

 


你可能感兴趣的:(Hadoop)