Hadoop环境的搭建

1、修改服务器的主机名

    a、可以通过hostname进行临时性的修改,但为便于管理,需直接进行永久性的修改

    b、永久性的修改,可以直接修改/etc/sysconfig/network中的hostname名称  

    c、修改/etc/hosts域名映射,采用外网ip进行映射


                 Hadoop环境的搭建_第1张图片

 

2、srt上传文件

    通过点击打开SFTP连接窗口,相关命令如下:    

    服务器命令不变,本地命令为在服务器命令之前加一个l,代表本地

    如:cd/lcd,ls/lls

    上传文件是put,上传某个目录下的所有文件可以采用put ./*

    下载文件是get,下载某个目录下的所有文件可以采用get ./*

 

3、jdk的安装(先把安装包上传到指定的目录下)    

     3.1、解压释放文件,如tar -zvxf jdk-7u79-linux-x64.tar.gz

Hadoop环境的搭建_第2张图片

     

     3.2、在/etc/profile文件中配置JAVA_HOME路径,如:

         JAVA_HOME=/opt/soft/jdk1.7.0_79

         PATH=$PATH:$JAVA_HOME/bin

         export JAVA_HOME PATH

                  Hadoop环境的搭建_第3张图片

      3.3、保存/etc/profile文件,通过source /etc/profile进行更新操作

      3.4、通过java -version查询是否安装成功

4.ssh面密码登陆

    4.1 现在客户端机器上通过命令ssh-keygen -t rsa生成一对公钥和私钥    

    4.2 将客户端上面的私钥通过scp命令传输到服务器上,例如:

          scp id_rsa.pub root@vdata2:/root    

    4.3 cat id_rsa.pub >>/root/.ssh/authorized_keys

     Hadoop环境的搭建_第4张图片

5、关闭服务器的防火墙

    5.1 通过service iptables stop命令进行关闭,然后可以

         通过service iptables status命令进行查看

    5.2 关闭防火墙自动开启的功能,命令如下

         chkconfig iptables off

         可以通过chkconfig --list |grep iptables进行查看

                        

6、hadoop集群的安装    

    6.1 先打通服务器上面的免密码登陆,并安装jdk1.7

    6.2 下载hadoop安装包,并上传到服务器对应的管理目录下

    6.3 然后将安装包进行解压,如tar -zxvf hadoop.tar.gz

    6.4 修改相关配置文件

Hadoop环境的搭建_第5张图片

        6.4.1 修改hadoop-env.sh配置文件,添加JAVA_HOME

        6.4.2 修改yarn-env.sh配置文件,添加JAVA_HOME

                         Hadoop环境的搭建_第6张图片

 

                         Hadoop环境的搭建_第7张图片

                       Hadoop环境的搭建_第8张图片

        6.4.3 修改slaves配置文件,添加相关从节点的主机名

                                        Hadoop环境的搭建_第9张图片

        6.4.4 修改core-site.xml配置文件,添加如下内容 

       
              fs.default.name
              hdfs://gyb:9000  
              change your own hostname
       

        
              hadoop.tmp.dir    
              /opt/workspace/hadoop/tmp
       
 
       
             fs.checkpoint.dir
             /opt/workspace/hadoop/hdfs/namesecondary
       
 
       
             fs.trash.interval
             10800
       

                    Hadoop环境的搭建_第10张图片

        6.4.5 修改hdfs-site.xml配置文件,添加如下内容

            
                   dfs.replication  
                   1
           

            
                   dfs.permissions  
                   false
            

           
                   dfs.name.dir
                   /opt/workspace/hadoop/hdfs/name
           

           
                   dfs.data.dir  
                   /opt/workspace/hadoop/hdfs/data
           

                        Hadoop环境的搭建_第11张图片

        6.4.6 修改 mapred-site.xml配置文件
            
                    mapreduce.framework.name  
                    yarn
           

           
                  mapred.local.dir
                  /opt/workspace/hadoop/mapred/local
           

           
                   mapred.system.dir
                   /opt/workspace/hadoop/mapred/system
           

           
                  mapred.temp.dir
                  /opt/workspace/hadoop/mapred/temp
           

           
                  mapreduce.jobhistory.address
                  gyb:10020
         

         
                 mapreduce.jobhistory.webapp.address
                 gyb:19888
         

                      Hadoop环境的搭建_第12张图片

        6.4.7 修改yarn-site.xml配置文件
            
                   yarn.resourcemanager.hostname
                   gyb
           

               
                  yarn.nodemanager.aux-services    
                  mapreduce_shuffle    
           
 
               
                   yarn.log-aggregation-enable    
                   true    
           
 
               
                  yarn.log-aggregation.retain-seconds    
                  8640000    
          

             
                  yarn.nodemanager.remote-app-log-dir    
                  /tmp/logs    
         

               Hadoop环境的搭建_第13张图片

        6.4.8  将相关的配置文件复制到其它的子节点上,如下:

            scp * root@vdata3:/opt/soft/hadoop-2.6.0-cdh5.5.0/etc/hadoop/

        6.4.9 格式化namenode,命令如下

            hdfs namenode -format

            为了执行命令方便可以将HADOOP_HOME配置到/etc/profile的path路径下

        6.4.10 启动集群,可以通过如下命令方式

            start-all.sh       /stop-all.sh

Hadoop环境的搭建_第14张图片

你可能感兴趣的:(Hadoop环境的搭建)