腾讯云hadoop集群搭建步骤，namenode/datanode启动问题

腾讯云hadoop集群搭建步骤及注意的相关问题

步骤：

1. 防火墙处理/关闭防火墙【仅在服务器安全级别要求不高的环境下进行】
2. 配置完全分布式hadoop集群
3. namenode/ datanode 启动问题

1. 防火墙处理

最直接的方式，关闭防火墙，简单省事。当然这也是笔者本人作为新手处理服务器比较简单粗暴的方式。

sudo ufw disable

2. 配置完全分布式hadoop集群

集群的搭建详细步骤可参见

3. namenode/datanode 启动问题

• 首先启动集群遇到如下问题，表示集群core-site.xml 中hdfs默认端口9000拒绝访问。笔者遇到这个问题，是因为在/etc/hosts配置主机名和IP时，或者在hadoop目录中的etc/hadoop下的*-site.xml文件中配置IP:Port时采用的是云服务的外网IP。
  》解决方式： 腾讯云服务需要采用内网IP配置集群间通信。

  report: Call From node1-64GB/10.104.XX.XX to XXXXXXXX:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

• 集群搭建好，运行程序出现如下问题。表示节点虽然都启动了，但是集群并不能正常运行，通信还是存在问题。
  》解决方式：笔者将这个网站http://wiki.apache.org/hadoop/ConnectionRefused中给出的所有情况都排查了，发现在配置/etc/hosts时，出现主机名的多次命名。也即，在127.0.0.1后面命名主机名1，又在内网IP后面命名主机名2。所以去掉主机名1，保留主机名2就行。

  org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=XXX OPERATION=Application Finished - Failed TARGET=RMAppManager RESULT=FAILURE DESCRIPTION=App failed with state: FAILED PERMISSIONS=Application application_1496888779647_0001 failed 2 times due to Error launching appattempt_1496888779647_0001_000002. Got exception: java.net.ConnectException: Call From localhost/127.0.0.1 to localhost:43484 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

• 重启集群

#关闭集群
stop-all.sh

#删除namenode和datanode的临时文件hadoopdata和日志文件
rm -rf hadoop目录/hadoopdata/* rm -rf hadoop目录/logs/*

hadoopdata设置在hdfs-site.xml文件中
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop-2.6.0/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///homehadoop-2.6.0/hadoopdata/dfs/data</value>
</property>