Hadoop 2.6.0版本安装与配置

在大概一年前左右，自己发过一篇关于Hadoop安装的博客，但是那时候的版本是1.2.1版本，技术更新的快，

最近公司使用的是hadoop 2.x版本，那么这里我以2.6.0版本为例介绍一下Hadoop的安装与配置。

1.x版本的链接：

http://blog.csdn.net/u012965373/article/details/45335801

准备工作是一样的，需要装好jdk, 我所安装的jdk是1.7.0_71版本。

安装链接：

http://blog.csdn.net/u012965373/article/details/42181377

【注】：此处的安装2.X版本与1.x版本很像，所以建议大家先看我的第一篇博客，然后再来看这个，
以便容易理解，这里的安装与配置写的比较简单，建议给有基础的看。
这是下载后的hadoop-2.6.0.tar.gz压缩包，   

1、解压 tar -xzvf hadoop-2.6.0.tar.gz

2、move到指定目录下：# mv ./hadoop-2.6.0 /usr/hadoop/

3、进入hadoop目前  # cd /usr/hadoop/
# ls
bin  dfs  etc  include  input  lib  libexec  LICENSE.txt  logs  NOTICE.txt  README.txt  sbin  share  tmp

 配置之前，先在本地文件系统创建以下文件夹：./hadoop/tmp, ./dfs/data, ./dfs/name。
 并且赋予权限。
 主要涉及的配置文件有7个：都在./hadoop/etc/hadoop文件夹下，可以用vim命令对其进行编辑。

./hadoop/etc/hadoop/hadoop-env.sh
./hadoop/etc/hadoop/yarn-env.sh
./hadoop/etc/hadoop/slaves
./hadoop/etc/hadoop/core-site.xml
./hadoop/etc/hadoop/hdfs-site.xml
./hadoop/etc/hadoop/mapred-site.xml
./hadoop/etc/hadoop/yarn-site.xml

进去hadoop配置文件目录

# cd ./etc/hadoop/
# ls
capacity-scheduler.xml  hadoop-env.sh               httpfs-env.sh            kms-env.sh            mapred-env.sh               ssl-client.xml.example
configuration.xsl       hadoop-metrics2.properties  httpfs-log4j.properties  kms-log4j.properties  mapred-queues.xml.template  ssl-server.xml.example
Container-executor.cfg  hadoop-metrics.properties   httpfs-signature.secret  kms-site.xml          mapred-site.xml             yarn-env.cmd
core-site.xml           hadoop-policy.xml           httpfs-site.xml          log4j.properties      mapred-site.xml.template    yarn-env.sh
hadoop-env.cmd          hdfs-site.xml               kms-acls.xml             mapred-env.cmd        slaves                      yarn-site.xml


1、配置 hadoop-env.sh文件-->修改JAVA_HOME

# JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.7.0_71

2、配置 yarn-env.sh 文件-->>修改JAVA_HOME

#JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.7.0_71

3、配置slaves文件-->>增加slave节点

 master(此处填你的namenode的hostname)

4、配置 core-site.xml文件-->>增加hadoop核心配置（hdfs文件端口是9000）

<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/hadoop/tmp</value>
 </property>
</configuration>

5、配置  hdfs-site.xml 文件-->>增加hdfs配置信息（namenode、datanode端口和目录位置）

<configuration>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>master:9001</value>
 </property>
  <property>
   <name>dfs.namenode.name.dir</name>
   <value>/usr/hadoop/dfs/name</value>
 </property>
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/hadoop/dfs/data</value>
  </property>
 <property>
  <name>dfs.replication</name>
  <value>3</value>
 </property>
</configuration>

6、配置  mapred-site.xml 文件-->>增加mapreduce配置（使用yarn框架、jobhistory使用地址以及web地址）

<configuration>
  <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

7、配置   yarn-site.xml  文件-->>增加yarn功能

<configuration>
  <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
  </property>
  <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>S1PA11:8035</value>
  </property>
  <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:8088</value>
  </property>
</configuration>

8、将配置好的hadoop文件scp到另其他的datanode机器上

#scp -r /usr/hadoop/ master@ip:/usr/



9、格式化namenode:

#cd /usr/hadoop/
#./bin/hdfs  namenode -format

10、启动hdfs:

# ./sbin/start-dfs.sh
然后输入jps查看是否出现了如下进程
#jps
30767 DataNode
30889 Jps
30498 NameNode
30733 SecondaryNameNode
19781 ResourceManager


11、查看集群状态：

# ./bin/hdfs dfsadmin -report

最后查看集群状态与日志

在浏览器中输入：

ip +:8088,  ip+ 50070