在win7的idea访问centos部署的hadoop2.7.1问题集锦

阅读更多

hadoop程序安装包：/opt/package/hadoop-2.7.1；（具体hadoop安装请参考hadoop的安装教程！）

问题1:：jps查看进程，没有datanode？

             文件格式化$HADOOP_HOME/bin/hdfs namenode -format后，没有删除对应的元数据目录以及权限分配，可以监控hadoop启动日志（/opt/package/hadoop-2.7.1/log/hadoop-root-datanode-lee.localdomain.log）,监控日志很快可以排查问题，尽量不要出现问题就百度，这样会误导自己，虽然网上也很多人遇到类似问题，但是每个人的环境不同，有些事网络配置导致，先尝试自己分析日志。

 

问题2:window系统连接hadoop需要配置对应版本的hadoop的winutils.exe？

         需要配置对应的window下连接hadoop对应版本的winutil.exe，版本必须得对应上，否则会访问会报错。

 

问题3:hadoop的core-site.xml,mapred-site.xml的ip换成正式局域网ip，否则会连接拒绝？

         由于是远程连接，配置localhost导致远程客户端访问不到，idea连接过去会出现connection refuse的异常！

 

问题4：HDFS配置的目录权限？

       如果没配置权限，启动会报错，导致datanode进程丢失。

 

总结：接触新事情，要多留意框架的日志，先尝试自己分析，在百度！

 

 注：附件的hadoop2.7.1的win下的winutil工具！

      

• hadoopbin2.7.zip (781.3 KB)
• 下载次数: 0