Hadoop2.5.1完全分布式搭建

搭建环境：Vmware12+Centos6.4
备注：基于虚拟机搭建hadoop完全分布式集群（没有截图！！！）

&&前期准备工作：

将vmware设置为桥接模式（即直接同外网连接，不用通过主机上网）

vmware中克隆虚拟机后，会出现以下三个问题：
    网络的配置和源机一样
    用户名称与源机一样
    用户的hosts与源机一样

1)修改网络配置

    1）vim /etc/udev/rules.d/70-persistent-net.rules
    首先注释掉eth0（这是源机的MAC地址），然后将eth1修改为eth0，同时记下其ATTR{address}的值，将其填入下面ifcfg-etho文件中的HWADDR

    # PCI device 0x8086:0x100f (e1000) (custom name provided by external tool)
    SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:30:e5:54", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

    # PCI device 0x8086:0x100f (e1000)
    SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:15:1b:71", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

    2）vim /etc/sysconfig/network-scripts/ifcfg-eth0

        DEVICE=eth0
        TYPE=Ethernet
        UUID=6f08c95f-b4c8-4af2-84b3-0c91c9460eaa
        ONBOOT=yes
        NM_CONTROLLED=yes
        BOOTPROTO=static
        DEFROUTE=yes
        IPV4_FAILURE_FATAL=yes
        IPV6INIT=no
        NAME="System eth0"
        HWADDR=00:0C:29:D6:65:6A
        PEERDNS=yes
        PEERROUTES=yes
        IPADDR=192.168.168.42
        NETMASK=255.255.255.0
        GATEWAY=192.168.168.1

    3）执行 service network restart 让网络配置文件生效


2)修改主机名称
    vim /etc/sysconfig/network
        NETWORKING=yes
        HOSTNAME=slave1

3)修改用户hosts
    192.168.168.174    slave1


** 若要实现三台机器互相ping通，可在三台机器分别修改其hosts文件：
    192.168.168.42    master
    192.168.168.174   slave1
    192.168.168.230   slave2    

1.Java安装教程

1)mv jdk1.7.0_75.tar.gz /usr/local
2)tar -zxvf jdk1.7.0_75.tar.gz
3)mv jdk1.7.0_75 java
4)rm -f jdk1.7.0_75.tar.gz

2.Hadoop安装：

1)mv hadoop2.5.1.tar.gz /usr/local
2)tar -zxvf hadoop2.5.1.tar.gz
3)mv hadoop2.5.1 hadoop
4)rm -f hadoop2.5.1.tar.gz

3.Java & Hadoop 配置：

export JAVA_HOME=/usr/local/java
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/dt.jar
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.SSH实现master免密码登录slaves

1).ssh-keygen -t rsa
    id_rsa -- 私钥
    id_rsa.pub -- 公钥

2).cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys -- 实现 ssh master 无密码登录

3).在slave1上执行ssh-keygen -t rsa（若没有.ssh目录），然后执行rm -f id_rsa.pub

4).在slave1上执行如下过程：
    1)scp root@master:~/.ssh/id_rsa.pub ~/.ssh/
    (注：scp -r /usr/local/haoop 192.168.168.174:/usr/local)
    2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    slave2上执行过程同4中的步骤

5.hadoop2.5.1的配置（三台机器做同样的操作）

1）修改JAVA_HOME:分别在 hadoop-env.sh 和 yarn-env.sh 中添加JAVA_HOME的配置

2）core-site.xml

    
            hadoop.tmp.dir
            /opt/hadoop/tmp
            Abase for other temporary directories.
    
    
            
            fs.defaultFS
            hdfs://master:9000
    
    
            io.file.buffer.size
            4096
    

3）hdfs-site.xml
    
            
            dfs.namenode.name.dir
            file:///opt/hadoop/dfs/name
    
    
            
            dfs.datanode.data.dir
            file:///opt/hadoop/dfs/data
    
    
            dfs.replication
            2
    

    
            dfs.nameservices
            hadoop-cluster1
    
    
            
            dfs.namenode.secondary.http-address
            master:50090
    
    
            dfs.webhdfs.enabled
            true
    

4）mapred-site.xml
    
            mapreduce.framework.name
            yarn
            true
    
    
            mapreduce.jobtracker.http.address
            master:50030
    
    
            mapreduce.jobhistory.address
            master:10020
    
    
            mapreduce.jobhistory.webapp.address
            master:19888
    
    
            mapred.job.tracker
            http://master:9001
    

5）yarn-site.xml
    
            
            yarn.resourcemanager.hostname
            master
    
    
            yarn.nodemanager.aux-services
            mapreduce_shuffle
    
    
            
            yarn.resourcemanager.address
            master:8032
    
    
            
            yarn.resourcemanager.scheduler.address
            master:8030
    
    
            
            yarn.resourcemanager.resource-tracker.address
            master:8031
    
    
            
            yarn.resourcemanager.admin.address
            master:8033
    
    
            
            yarn.resourcemanager.webapp.address
            master:8088
    

6）slaves
    slave1
    slave2

7）格式化文件系统
    bin/hdfs namenode -format

8）启动和停止
    ./start-dfs.sh
    ./start-yarn.sh

    ./stop-dfs.sh
    ./stop-yarn.sh

9）验证
    http://192.168.168.42:50070/
    http://192.168.168.42:8088/

6.运行hadoop-2.5.1自带的WordCount例子

1）在/usr/local 下面创建input目录
    mkdir input

2）在input目录下面创建两个文件file1.txt file2.txt，并向里面写入内容
    echo "hello world" > file1.txt
    echo "hello hadoop" > file2.txt
    vim file2.txt 追加 hello mapreduce

3）在HDFS上创建一个目录wc_input
    hdfs dfs -mkdir wc_input

4）将input目录下的文件上传到HDFS的wc_input
    hdfs dfs -put /usr/local/input/file* wc_input

5）查看上传是否成功
    hdfs dfs -ls wc_input

6）在mapreduce目录下运行hadoop-2.5.1自带的WordCount.jar
    hadoop jar hadoop-mapreduce-examples-2.5.1.jar wordcount wc_input wc_output

7）查看运行结果
    hdfs dfs -ls wc_output
    hdfs dfs -cat wc_output/part-r-00000