大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群

集群规划

主机          IP                            安装的软件                   运行的进程

mini1        192.168.33.61         jdk、hadoop                 NameNode、ResourceManager、SecondaryNameNode

mini2        192.168.33.62         jdk、hadoop                 DataNode、NodeManager

mini3        192.168.33.63         jdk、hadoop                 DataNode、NodeManager

1.准备Linux环境
    1.1先将虚拟机的网络模式选为NAT
        
    1.2修改主机名
        vi /etc/sysconfig/network
        
        NETWORKING=yes
        HOSTNAME=mini1    ###修改主机名称

    1.3修改IP
        两种方式：
        第一种：通过Linux图形界面进行修改
            进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.33.61 子网掩码：255.255.255.0 网关：192.168.33.1 -> apply
    
        第二种：修改配置文件方式
            vi /etc/sysconfig/network-scripts/ifcfg-eth0
            
            DEVICE="eth0"
            BOOTPROTO="static"               ###静态获取
            HWADDR="00:0C:29:3C:BF:E7"
            IPV6INIT="yes"
            NM_CONTROLLED="yes"
            ONBOOT="yes"
            TYPE="Ethernet"
            UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
            IPADDR="192.168.33.61"           ###指定IP地址
            NETMASK="255.255.255.0"          ###子网掩码
            GATEWAY="192.168.33.1"            ###网关
            
    1.4修改主机名和IP的映射关系
        vim /etc/hosts
            
        192.168.33.61    mini1
    
    1.5关闭防火墙
        #查看防火墙状态
        service iptables status
        #关闭防火墙
        service iptables stop
        #查看防火墙开机启动状态
        chkconfig iptables --list
        #关闭防火墙开机启动
        chkconfig iptables off
    1.6 修改sudo
        su root
        vim /etc/sudoers
        给hadoop用户添加执行的权限
    
    1.7重启Linux
        reboot

2.安装JDK
    2.1上传jdk1.7.0_45.tar.gz
    
    2.2解压jdk
        #解压
        tar -zxvf jdk1.7.0_45.tar.gz -C /usr/local
        
    2.3将java添加到环境变量中
        vim /etc/profile
        #在文件最后添加
        export JAVA_HOME=/usr/local/jdk1.7.0_45
        export PATH=$PATH:$JAVA_HOME/bin
    
        #刷新配置
        source /etc/profile

3.安装hadoop2.6.5
    先上传hadoop的安装包到服务器上去/home/hadoop/apps
    需要修改5个配置文件，配置文件在hadoop-2.6.5/etc/hadoop目录下
    3.1配置hadoop
    第一个：hadoop-env.sh
        vim hadoop-env.sh
        export JAVA_HOME=/usr/java/jdk1.7.0_45
        
    第二个：core-site.xml

        
        
            fs.defaultFS
            hdfs://mini1:9000
        
        
        
            hadoop.tmp.dir
            /home/hadoop/hdpdata
   
        
    第三个：hdfs-site.xml   
        
        
            dfs.replication
            2
        
        
        
            dfs.secondary.http.address
            mini1:50090
        
        
    第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        
        
            mapreduce.framework.name
            yarn
        
        
    第五个：yarn-site.xml
        
        
            yarn.resourcemanager.hostname
            mini1
        
        
        
            yarn.nodemanager.aux-services
            mapreduce_shuffle
        
         
    3.2将hadoop添加到环境变量
    
    vim /etc/proflie
        export JAVA_HOME=/usr/local/jdk1.7.0_45
        export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source /etc/profile
    
    3.3格式化namenode（是对namenode进行初始化）
        hdfs namenode -format (hadoop namenode -format)
        
    3.4启动hadoop
        先启动HDFS
        sbin/start-dfs.sh
        
        再启动YARN
        sbin/start-yarn.sh
        
    3.5验证是否启动成功
        使用jps命令验证
        8161 NameNode
        17416 Jps
        8344 SecondaryNameNode
        13790 ResourceManager

        4002 NodeManager
        3038 DataNode
    

    
        http://mini1:50070 （HDFS管理界面）
        http://mini1:8088 （MR管理界面）

 

        
4.配置ssh免登陆
    #生成ssh免登陆密钥
    #进入到我的home目录
    cd ~/.ssh

    ssh-keygen -t rsa （四个回车）
    执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
    将公钥拷贝到要免密登陆的目标机器上
    ssh-copy-id localhost
   
    当前集群mini1需要免登到自己以及mini2，mini3服务器，集群脚本启动的话才不需要手动输入登录密码