Hadoop 2.6.0 集群部署

　　Hadoop的集群部署和单节点部署类似，配置文件不同，另外需要修改网络方面的配置

　　首先，准备3台虚拟机，系统为CentOS 6.6，其中一台为namenode 剩余两台为 datanode；

　　修改主机名主节点为：hadoopha，数据节点主机名分别为hadoop1、hadoop2，具体修改方法点击这里查看

　　本例中这3台虚拟机处于同一个局域网，网络连接设置为桥接，ip地址分别为是hadoopha为：192.168.1.42，hadoop1为：192.168.1.78、hadoop2为：192.168.1.44，实际中可以设置静态ip为连续的

　　然后修改hosts网络指向，用vim /etc/hosts打开文件，后面添加3行记录：

　　192.168.1.42 hadoopha

　　192.168.1.78 hadoop1

　　192.168.1.44 hadoop2

　　然后保存退出

　　

　　上面那些localhost指向不用改，新添加3行即可，这三台主机都要修改hosts文件保持一致

　　以上是主机之间网络通信的基础，接下来在hadoopha上单独配置hadoop环境，hadoop1和hadoop2不用安装hadoop，只有jdk即可

　　同样把hadoop解压到指定目录，配置一下HADOOP_HOME到环境变量中，然后进入hadoop安装目录，修改配置

　　执行vim etc/hadoop/hadoop-env.sh

　　把JAVA_HOME前面的注释去掉，值改成jdk的安装目录，并保存

　　

　　然后执行vim etc/hadoop/core-site.xml，在<configuration></configuration>之间添加如下配置：

 1     <property>
 2         <name>fs.defaultFS</name>
 3         <value>hdfs://hadoopha</value>
 4     </property>
 5     <property>
 6         <name>hadoop.tmp.dir</name>
 7         <value>/usr/hadoop</value>
 8     </property>
 9     <property>
10         <name>dfs.name.dir</name>
11         <value>/usr/hadoop/name</value>
12     </property>

　　执行vim etc/hadoop/hdfs-site.xml，同样位置添加如下配置：

 1     <property>
 2         <name>dfs.replication</name>
 3         <value>2</value>
 4     </property>
 5     <property>
 6         <name>dfs.namenode.name.dir</name>
 7         <value>file:///usr/hadoop/hdfs/name</value>
 8     </property>
 9     <property>
10         <name>dfs.datanode.data.dir</name>
11         <value>file:///usr/hadoop/hdfs/data</value>
12     </property>
13     <property>
14         <name>dfs.nameservices</name>
15         <value>hadoopha</value>
16     </property>

　　第一个配置项是datanode的节点数，这里是2个，就算这里写3也不起什么作用，因为不能超过实际的最大节点数，其中的存放目录可以自己定义

　　执行vim etc/hadoop/mapred-site.xml，同样位置添加如下配置：

1     <property>
2         <name>mapreduce.framework.name</name>
3         <value>yarn</value>
4     </property>

　　执行vim etc/hadoop/yarn-site.xml，添加如下配置：

 1     <property>
 2         <name>yarn.resourcemanager.hostname</name>
 3         <value>hadoopha</value>
 4     </property>
 5     <property>
 6         <name>yarn.nodemanager.aux-services</name>
 7         <value>mapreduce_shuffle</value>
 8     </property>
 9     <property>
10         <name>yarn.resourcemanager.address</name>
11         <value>hadoopha:8032</value>
12     </property>
13     <property>
14         <name>yarn.resourcemanager.scheduler.address</name>
15         <value>hadoopha:8030</value>
16     </property>
17     <property>
18         <name>yarn.resourcemanager.resource-tracker.address</name>
19         <value>hadoopha:8031</value>
20     </property>
21 
22     <property>
23         <name>yarn.resourcemanager.admin.address</name>
24         <value>hadoopha:8033</value>
25     </property>
26     <property>
27         <name>yarn.resourcemanager.webapp.address</name>
28         <value>hadoopha:8088</value>
29     </property>

　　编辑slaves文件，执行etc/hadoop/slaves，之前默认只有一行内容localhost，把之前的删除添加下面配置：

　　hadoop1

　　hadoop2

　　到这里文件就配置完了，

　　然后退到上一层目录，把配置好的hadoop目录发送到hadoop1和hadoop2中

$ scp -r hadoop-2.6.0/ hadoop1:/usr/hadoop/
$ scp -r hadoop-2.6.0/ hadoop2:/usr/hadoop/

　　这样三个主机的hadoop文件就实现了同步，然后格式化namenode节点

bin/hadoop namenode -format

　　只对主节点hadoopha进行格式化即可，格式化之后启动hadoop

bin/start-all.sh

　　等待hadoop集群运行起来，然后用jps命令分别查看3个主机的hadoop进程

　　hadoopha运行NameNode:

　　

　　hadoop1和hadoop2运行DataNode:

　　

　　这时候hadoop集群就启动成功了，然后打开浏览器通过web访问主节点可以管理集群

　　HDFS管理：http://192.168.1.42:50070/

　　

　　可以看到详细的参数

　　Map/Reduce管理：http://192.168.1.42:8088/

　　可以看到详细的作业情况，和具体哪台机器的作业的情况

　　通过命令行：bin/hdfs dfsadmin -report可以查看集群的运行状态

　　需要注意：

　　1、在hadoop2.x系列版本中，hdfs默认文件直接存放在根目录下，不在和1.x一样存放在/user/root/下了

　　2、执行hdfs操作文件系统所有的命令时，比如bin/hdfs dfs -ls /会报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

　　　

　　虽然不影响使用，原因是从apache官网下载的hadoop-2.6.0.tar.gz是在32位机器上编译的，而集群机器是64位的，所以加载.so文件时出错，但是不影响使用，解决办法是下载64位编译包，解压到hadoop安装目录下lib/native下更新文件即可

　　

　　因为是./所以直接解压到本目录下，不用进行其他任何操作就可以了，下载链接：http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar

 

　　接下来使用WordCount例子来测试集群的运行：

　　首先进入hadoop安装目录，执行下面命令测试：

$ mkdir input
$ echo "Hello world bye jj" >> file1
$ echo "Hello Hadoop bye hadoop" >> file2
$ bin/hdfs dfs -mkdir /input
$ bin/hdfs dfs -put input/* /input

 

　　这样文件就上传到了HDFS文件系统中，执行下面命令开始运行作业

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input /output

　　

　　然后等待作业执行完毕，完毕之后可以使用命令bin/hdfs dfs -ls /output/查看是否生成结果文件，使用cat查看文件内容即可

bin/hdfs dfs -cat /output/part-r-00000

　　

　　可以看到，结果正确的输出了，到这里基本的hadoop集群就部署完成了