轻松构建分布式Hadoop

轻松构建分布式Hadoop

随着互联网的发展，大数据运算需求日益剧增，开源的hadoop出现至今，几乎已成为了业界的默认标准，下面，笔者就开始构建一个简单的hadoop并行运算集群。

一、    环境介绍

模拟环境使用三台rhel5.8 32bit，各自IP和主机名如下：

    
    
    
    

     
     
     
     
IP                            主机名        
     
     
     
     
192.168.88.253                none.mos.com    
     
     
     
     
192.168.88.129                lab1.mos.com 
     
     
     
     
192.168.88.130                lab2.mos.com 
    
    
    
    
 

其中

    
    
    
    

     
     
     
     
none.mos.com负责任务管理和数据名称节点，在生产环境中，建议将此两项分开； 
     
     
     
     
 
     
     
     
     
lab1.mos.com为第二名称节点，其并不提供名称节点的功能，但默认情况下，负责周期性的将编辑日志合并至名称节点，并自己也保存一份，其提供了名称节点的冗余，但其数据依然落后于名称节点； 
     
     
     
     
 
     
     
     
     
lab3.mos.com为实际数据存储节点和任务执行节点。 
    
    
    
    

使用的软件版本及下载地址：

    
    
    
    

     
     
     
     
JDK: jdk-7u5-linux-i586.rpm 
     
     
     
     
下载地址： http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
     
     
     
     
Hadoop: hadoop-0.20.2-cdh3u5.tar.gz 
     
     
     
     
下载地址： http://hadoop.apache.org/releases.html
     
     
     
     
 
    
    
    
    

二、    准备工作
2.1 修改每个主机的/etc/hosts文件如下：

    
    
    
    

     
     
     
     
192.168.88.253      none.mos.com    none 
     
     
     
     
192.168.88.129      lab1.mos.com    lab1 
     
     
     
     
192.168.88.130      lab2.mos.com    lab2 
    
    
    
    

2.2 在集群的每个节点建立用于运行hadoop的用户及设定密码

    
    
    
    

     
     
     
     
# useradd hduser && echo "redhat" | passwd --stdin hduser 
    
    
    
    

2.3 为master节点的hduser用户能够管理并监控其他节点，在none节点做如下操作。

    
    
    
    

     
     
     
     
# su – hduser 
     
     
     
     
$ ssh-keygen -t rsa -P '' 
     
     
     
     
$ ssh-copy-id -i .ssh/id_rsa.pub hduser@lab1 
     
     
     
     
$ ssh-copy-id -i .ssh/id_rsa.pub hduser@lab2 
    
    
    
    

2.4 确保每个节点时间的一致性，并清空iptables和关闭selinux，此处操作略


三、    配置hadoop运行所需的java环境，此操作需在每个节点执行一遍。
3.1 安装jdk

    
    
    
    

     
     
     
     
# rpm -ivh ~/root/Download/jdk-7u5-linux-i586.rpm 
    
    
    
    

3.2 配置java环境变量

    
    
    
    

     
     
     
     
# vim /etc/profile.d/java.sh 
     
     
     
     
JAVA_HOME=/usr/java/latest 
     
     
     
     
PATH=$JAVA_HOME/bin:$PATH 
     
     
     
     
export JAVA_HOME PATH 
    
    
    
    

3.3 使刚才配置的环境其生效(或重新登陆控制台亦可)

    
    
    
    

     
     
     
     
# source /etc/profile.d/java.sh 
    
    
    
    

3.4 测试java环境是否OK

    
    
    
    

     
     
     
     
# su – hduser 
     
     
     
     
$ java –version 
     
     
     
     
java version "1.7.0_05" 
     
     
     
     
Java(TM) SE Runtime Environment (build 1.7.0_05-b05) 
     
     
     
     
Java HotSpot(TM) Server VM (build 23.1-b03, mixed mode) 
    
    
    
    

四、    安装Hadoop，此步骤操作略长，但也需在每个节点执行。
4.1 解压至/usr/local目录，并做软件链接使其易于访问

    
    
    
    

     
     
     
     
# tar xf ~/Download/hadoop-0.20.2-cdh3u5.tar.gz –C /usr/local/ 
     
     
     
     
# ln -sv /usr/local/hadoop-0.20.2-cdh3u5 /usr/local/hadoop 
    
    
    
    

4.2 修改hadoop目录的属主属组，并配置hadoop环境变量

    
    
    
    

     
     
     
     
# chown -R hduser. /usr/local/hadoop-0.20.2-cdh3u5 
     
     
     
     
# vim /etc/profile.d/hadoop.sh 
     
     
     
     
HADOOP_HOME=/usr/local/hadoop 
     
     
     
     
PATH=$HADOOP_HOME/bin:$PATH 
     
     
     
     
export HADOOP_HOME PATH 
    
    
    
    

4.3 使hadoop环境变量生效并使用hduser测试其是否就绪

    
    
    
    

     
     
     
     
# source /etc/profile.d/hadoop.sh 
     
     
     
     
# su – hduser 
     
     
     
     
$ hadoop version 
     
     
     
     
Subversion git://ubuntu-slave02/var/lib/jenkins/workspace/CDH3u5-Full-RC/build/cdh3/hadoop20/0.20.2-cdh3u5/source -r 30233064aaf5f2492bc687d61d72956876102109 
     
     
     
     
Compiled by jenkins on Fri Oct  5 17:21:34 PDT 2012 
     
     
     
     
From source with checksum de1770d69aa93107a133657faa8ef467 
    
    
    
    

五、    配置Hadoop，集群中每个节点只能通过配置文件来得知自身的角色，因此，以下配置需在每个节点都做同样修改。

5.1    定义第二名称节点的主机名或IP地址

    
    
    
    

     
     
     
     
# echo ‘lab1.mos.com’ > /usr/local/hadoop/conf/masters 
    
    
    
    

5.2    定义数据节点和任务执行节点，笔者这里只有一个，而生成环境中，数据节点一般最少3个以上。

    
    
    
    

     
     
     
     
# echo ‘lab2.mos.com’ > /usr/local/hadoop/conf/slaves 
    
    
    
    

5.3    定义系统级别的参数如下：

    
    
    
    

     
     
     
     
# vim /usr/local/hadoop/conf/core-site.xml 
     
     
     
     
<?xml version="1.0"?> 
     
     
     
     
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
     
     
     
     
<!-- Put site-specific property overrides in this file. --> 
     
     
     
     
<configuration> 
     
     
     
     
 
     
     
     
     
<!-- 定义hadoop的分布式文件系统hdfs的名称节点。--> 
     
     
     
     
    <property> 
     
     
     
     
        <name>fs.default.name</name>   
     
     
     
     
        <value>hdfs://none.mos.com:8020</value> 
     
     
     
     
    </property> 
     
     
     
     
 
     
     
     
     
<!--定义临时文件的位置，需确保此目录存在，且hadoop的执行用户hduser对其有足够的权限. --> 
     
     
     
     
    <property>     
     
     
     
     
        <name>hadoop.tmp.dir</name> 
     
     
     
     
        <value>/hadoop/temp</value> 
     
     
     
     
    </property> 
     
     
     
     
 
     
     
     
     
<!--定义回收站，可不定义，设置在hdfs中删除的文件先放在回收站内，超时才会被删除，时间单位为分钟，笔者此处定义为100小时。--> 
     
     
     
     
    <property> 
     
     
     
     
        <name>fs.trash.interval</name>   
     
     
     
     
        <value>6000</value> 
     
     
     
     
    </property> 
     
     
     
     
 
     
     
     
     
</configuration> 
    
    
    
    

5.4    定义任务管理管理节点

    
    
    
    

     
     
     
     
# vim /usr/local/hadoop/conf/mapred-site.xml 
     
     
     
     
<?xml version="1.0"?> 
     
     
     
     
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
     
     
     
     
 
     
     
     
     
<!-- Put site-specific property overrides in this file. --> 
     
     
     
     
 
     
     
     
     
<configuration> 
     
     
     
     
    <property> 
     
     
     
     
        <name>mapred.job.tracker</name> 
     
     
     
     
        <value>none.mos.com:8021</value> 
     
     
     
     
    </property> 
     
     
     
     
</configuration> 
    
    
    
    

5.5    定义hadoop的分布式文件系统相关属性

    
    
    
    

     
     
     
     
# vim /usr/local/hadoop/conf/hdfs-site.xml 
     
     
     
     
<?xml version="1.0"?> 
     
     
     
     
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
     
     
     
     
 
     
     
     
     
<!-- Put site-specific property overrides in this file. --> 
     
     
     
     
 
     
     
     
     
<configuration> 
     
     
     
     
 
     
     
     
     
<!-- 为了保证数据的冗余，定义切割后的数据块在几个节点上存储，生产环境中，建议最少3份以上，笔者这里就一个数据节点，因此，此处为1即可--> 
     
     
     
     
     <property> 
     
     
     
     
    <name>dfs.replication</name> 
     
     
     
     
    <value>1</value> 
     
     
     
     
     </property> 
     
     
     
     
 
     
     
     
     
    <!-- 数据名称节点用于存储HDFS文件数据块的本地目录，存储多份时，可写多个路径，以逗号隔开即可--> 
     
     
     
     
     <property> 
     
     
     
     
        <name>dfs.data.dir</name> 
     
     
     
     
        <value>/hadoop/data</value> 
     
     
     
     
        <final>ture</final> 
     
     
     
     
     </property> 
     
     
     
     
     
     
     
     
     
<!-- 数据节点用于存储名称空间和事务日志的本地文件系统路径，存储多份时，可写多个路径，以逗号隔开即可 --> 
     
     
     
     
     <property> 
     
     
     
     
        <name>dfs.name.dir</name> 
     
     
     
     
        <value>/hadoop/name</value> 
     
     
     
     
        <final>ture</final> 
     
     
     
     
     </property> 
     
     
     
     
    
     
     
     
     
    <!-- 用于定义HDFS元数据冗余的复制到这个目录 --> 
     
     
     
     
     <property> 
     
     
     
     
        <name>fs.checkpoint.dir</name> 
     
     
     
     
        <value>/hadoop/namesecondary</value> 
     
     
     
     
        <final>ture</final> 
     
     
     
     
     </property> 
     
     
     
     
 
     
     
     
     
</configuration> 
    
    
    
    

5.6    创建hadoop配置中定义的目录，且给予相应的权限

    
    
    
    

     
     
     
     
# mkdir -pv /hadoop/temp && chown -R hduser. /hadoop  
    
    
    
    

 

 

六、    格式化hadoop的分布式文件系统(HDFS)，并检测hadoop是否就绪。
 

6.1 以hduser的身份格式，切记一定要将第五步的操作在三个节点全部完成

    
    
    
    

     
     
     
     
# su - hduser 
     
     
     
     
$ hadoop namenode –format 
     
     
     
     
出现“Storage directory /hadoop/temp/dfs/name has been successfully formatted”此行，才表示格式化成功，否则需检查是否配置出错。 
    
    
    
    

6.2 以hduser的身份启动hadoop

    
    
    
    

     
     
     
     
$ start-all.sh 
    
    
    
    

6.3 使用jps在每个节点，检查是否启动正常.

七、    使用hadoop提供的字符统计应用程序算法样例做简单的计算实现

7.1 在hadoop的分布式文件系统(hdfs)中创建目录，并上传要计算的文件

    
    
    
    

     
     
     
     
$ hadoop fs -mkdir mos-test 
     
     
     
     
$ hadoop fs -put /etc/services mos-test 
    
    
    
    

7.2 调用hadoop提供的字符统计程序，计算上传的services文件的每个字符个数，并输出到hdfs的test-out目录中，此目录hadoop会自行创建。

    
    
    
    

     
     
     
     
$ hadoop jar /usr/local/hadoop/hadoop-examples-0.20.2-cdh3u5.jar wordcount mos-test test-out 
    
    
    
    

7.3 等命令执行完成后，下载执行结果到本地当前目录，并查看相关内容

    
    
    
    

     
     
     
     
$ hadoop fs -get ./test-out/part-r-00000 ./ 
     
     
     
     
$ head part-r-00000 
    
    
    
    

7.4 也可不用下载直接查看HDFS的文件或目录

    
    
    
    

     
     
     
     
$ hadoop fs –ls /  #查看hdfs的根位置 
     
     
     
     
$ hadoop fs –cat  /user/hduser/test-out/part-r-00000   #不下载直接查看计算结果 
     
     
     
     
Ps:  hadoop fs命令的相关用法，可通过：hadoop fs --help获得 
    
    
    
    

 

    到此为止，一个简单的分布式hadoop并行运算集群已经已然完成，哈哈，是不是很简单，但是需要说明的是，各位其实也看到了，并且想必各位也充满了各种 疑惑：这些命名神马的怎么这么奇怪？hdfs是怎么工作的？数据怎么分开存储的？数据怎么在被切开存储后还能计算？各个节点的高可用怎么实现？如果需要更 为复杂的运算怎么处理等等？相关内容，笔者也在慢慢的整理和学习，敬请关注哈。
 

补充一点相关知识：
当hadoop正常启动后，不同的节点，会开放不同的几个端口，可以直接通过web页面查看其相关信息的端口，实际上，开放的端口 远不止这些，(详情可以通过  netstat -tnlp|grep java)查看， 但是只有这些可以通过web直接打开查看。具体如下：
 

    
    
    
    

     
     
     
     
端口                    工作节点                 本此实验的web查方式 
     
     
     
     
0.0.0.0:50030     任务管理节点(JobTracker)                192.168.88.253:5030 
     
     
     
     
0.0.0.0:50070     HDFS的数据名称节点（NameNode）         192.168.88.253:5070 
     
     
     
     
0.0.0.0:50090     第二数据名称节点(SecondaryNameNode)     192.168.88.129:50090 
     
     
     
     
0.0.0.0:50060     任务执行节点(TaskTracker)               192.168.88.130:5060 
     
     
     
     
0.0.0.0:50075     数据节点（DataNode）                    192.168.88.130:5075 
    
    
    
    

下图是之前执行计算时笔者的截图：