hadoop环境搭建

1.准备Linux环境

• 修改主机名

---

    vim /etc/hosts
    192.168.1.101   soc101

• 关闭防火墙

---

    查看防火墙状态
    service iptables status
    关闭防火墙
    service iptables stop
    查看防火墙开机启动状态
    chkconfig iptables --list
    关闭防火墙开机启动
    chkconfig iptables off

---

• 创建用户、赋予权限

---

    useradd hadoop
    passwd hadoop
    vim /etc/sudoers
    hadoop    ALL=(ALL)       ALL

• 安装JDK

---

    2.1上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz
    
    2.2解压jdk
        #创建文件夹
        mkdir /home/hadoop/app
        #解压
        tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
        
    2.3将java添加到环境变量中
        vim /etc/profile
        #在文件最后添加
        export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
        export PATH=$PATH:$JAVA_HOME/bin
    
        #刷新配置
        source /etc/profile

• 安装hadoop2.4.1

---

先上传hadoop的安装包到服务器上去/home/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop
第一个：hadoop-env.sh
    vim hadoop-env.sh
    #第27行
    export JAVA_HOME=/usr/java/jdk1.7.0_65
    修改$HADOOP_HOME/etc/hadoop/slaves  
    Slave1 
    Slave2
第二个：core-site.xml

    
    
        fs.defaultFS
        hdfs://weekend-1206-01:9000
    
    
    
        hadoop.tmp.dir
        /home/hadoop/hadoop-2.4.1/tmp
    
    
第三个：hdfs-site.xml   
    
    
        dfs.replication
        1
    
    
    
        dfs.secondary.http.address
        192.168.1.152:50090
    



    
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
    mv mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    
    
        mapreduce.framework.name
        yarn
    
    
第五个：yarn-site.xml
    
    
        yarn.resourcemanager.hostname
        weekend-1206-01
    
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

3.2将hadoop添加到环境变量

vim /etc/proflie
    export JAVA_HOME=/usr/java/jdk1.7.0_65
    export HADOOP_HOME=/itcast/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3格式化namenode（是对namenode进行初始化）
    hdfs namenode -format (hadoop namenode -format)
    
3.4启动hadoop
    先启动HDFS
    sbin/start-dfs.sh
    
    再启动YARN
    sbin/start-yarn.sh
    
3.5验证是否启动成功
    使用jps命令验证
    27408 NameNode
    28218 Jps
    27643 SecondaryNameNode
    28066 NodeManager
    27803 ResourceManager
    27512 DataNode

• 配置ssh免登陆

---

生成ssh免登陆密钥
进入到我的home目录
cd ~/.ssh

ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id localhost
---------------------------
ssh免登陆：
    生成key:
    ssh-keygen
    复制从A复制到B上:
    ssh-copy-id B
    验证：
    ssh localhost/exit，ps -e|grep ssh
    ssh A  #在B中执行