菜鸟进阶大数据第四天(伪分布式集群的搭建和配置免密登录)

在Xshell里操作
1:上传文件------使用命令rz
    如果在你的Xshell里用不了这个命令，你可以先执行yum install lrzsz -y先下载
2：解压jdk的压缩包
    tar -zxvf 压缩包名
3:配置环境变量
    export JAVA_HOME=/opt/software/jdk1.8.0_121
     export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile--------------让文章变量生效

注：用户变量    .bashrc      系统变量    /etc/profile

4：上传hadoop包并解压

 tar -zxvf hadoop-2.6.5.tar.gz

5：bin---系统的操作命令（文件的增删改查）
    sbin--系统的管理命令（集群的启动、关闭）
    etc/hadoop---配置信息

            

1、slaves---节点（DN）
        2、hdfs-site.xml
        
            dfs.replication     //设置备份个数
            1
        

             
            dfs.namenode.secondary.http-address   
            你的主机名:50090
        
        3、core-site.xml
        
            fs.defaultFS            //namenode
            hdfs://你的主机名:9000    
        
        
            hadoop.tmp.dir          //namenode启动后产生的信息
            /var/abc/hadoop/local
        
        4、
            把*-env.sh的文件内部所有的java路径改为绝对路径

      5、格式化
           hdfs namenode -format-----让所有文件生效
      6、启动命令
           /opt/software/hadoop/sbin----start-dfs.sh
       7、配置hadoop的环境变量
            export HADOOP_HOME=/opt/software/hadoop-2.6.5
            export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin    
            java -version查看java

     配置免密登录就两步

           第一步： ssh-keygen -t rsa
           第二步： ssh-copy-id -i ~/.ssh/id_rsa.pub root@你的主机名

          启动第一步之后一直回车就行，启动第二步之后会遇到yes,no选项选yes就行，然后输入自己的密码就ok了。