Hadoop系统学习记录

1.安装Hadoop

1.到官网http://hadoop.apache.org/下载hadoop程序hadoop-3.1.0.tar.gz
2.上传到linux系统中的'/usr/local'目录下, 并用命令 'cd /usr/local'进到此目录下.
3.用'tar -zxvf hadoop-3.1.0.tar.gz'解压文件.
4.进入到'/usr/local/hadoop-2.2.0/etc/hadoop'中修改配置
5.设置(如果出错就改第五步的hostname)
    1.vim hadoop-env.sh
        修改：export JAVA_HOME=/usr/local/jdk1.8.0_161
    2.vim core-site.xml
          
            
            
                fs.defaultFS
                hdfs://192.168.83.128:9000
            
            
            
                hadoop.tmp.dir
                /usr/local/hadoop-2.2.0/tmp
            
          
    3.vim hdfs-site.xml 
        
             
             
                  dfs.replication
                  1
            
        
    4.mv mapred-site.xml.template mapred-site.xml  
      vim mapred-site.xml
        
            
         
                mapreduce.framework.name
                yarn
            
        
    5.vim yarn-site.xml
        
            
            
                yarn.nodemanager.aux-services
                mapreduce_shuffle
            
            
            
                yarn.resourcemanager.hostname
                localhost
            
        

6.配置Hadoop到系统环境变量
    vim /etc/profile
        export HADOOP_HOME=/usr/local/hadoop-2.2.0
        export PATH=$PATH:$HADOOP_HOME/bin
    source /etc/profile
7.格式化文件系统
      hdfs namenode -format
    输出：
    ......
    INFO common.Storage: Storage directory /usr/local/hadoop-2.2.0/tmp/dfs/name has been successfully formatted
    ......
    看到has been successfully formatted就是格式化成功了.
8.启动Hadoop
   /usr/local/hadoop-2.2.0/sbin
    单独启动start-dfs.sh和start-yarn.sh
    或者一次启动start-all.sh(要多次输入密码)
9.查看是否启动
    jps
      [root@localhost sbin]# jps
      5057 SecondaryNameNode
      4807 NameNode
      5191 ResourceManager
      5338 NodeManager
      5515 Jps
10.开放访问端口
    设置开放50070t/50075/8088端口
        firewall-cmd --add-port=50070/tcp --permanent
        firewall-cmd --add-port=50075/tcp --permanent
        firewall-cmd --add-port=8088/tcp --permanent
    重新加载防火墙
        firewall-cmd --reload
    查看开放的端口
        firewall-cmd --list-ports
        结果：50070/tcp 8088/tcp 50075/tcp

11.访问
      HDFS管理界面: http://192.168.83.128:50070
      yarn管理界面: http://192.168.83.128:8088

2.上传文件到HDFS中和从系统中下载文件

上传：hadoop fs -put hadoop-2.2.0.tar.gz hdfs://192.168.83.128:9000/hadoop.tar.gz 
下载：hadoop fs -get hdfs://192.168.83.128:9000/hadoop.tar.gz /usr/hadoop-2.2.0.tar.gz

3.多台机器之间ssh免登陆(本地启动hadoop也不用一直输入密码)

1.进入家目录： cd ~
2.进入ssh目录：cd .ssh/
3.生成密钥(确认时一直按enter即可)： ssh-keygen -t rsa
4.会生成两个文件：id_rsa(私钥)  id_rsa.pub(公钥)
5.复制公钥文件为authorized_keys: cp id_rsa.pub authorized_keys (此步为本地启动hadoop也不用一直输入密码)
6.将本机中的authorized_keys复制到想要免登陆的机器上：ssh-copy-id 192.168.8.81(需要输入此机的密码)
7.测试ssh 192.168.8.81  (成功连接, 不需要密码)

总结：想要在哪台机器上免登陆就把自己的authorized_keys文件复制到对方机器的家目录下的.ssh文件夹下就行了

4.使用JAVA对HDFS系统中的文件增删查

千万记得开放端口 50010/tcp
其它开放了的端口 50070/tcp 8088/tcp 50075/tcp 9000/tcp


  // 获得工具
  FileSystem fs = FileSystem.get(new URI("hdfs://192.168.8.80:9000"), new Configuration(), "root");

  // 从hdfs上下载文件
  InputStream in = fs.open(new Path("/456.txt"));
  OutputStream out = new FileOutputStream("E://456.txt");
  IOUtils.copyBytes(in, out, 4096, true);

  // 上传文件到hdfs上
  InputStream in = new FileInputStream("E:/123.txt");
  OutputStream out = fs.create(new Path("/456.txt"));
  IOUtils.copyBytes(in, out, 4096, true);

  // 从hdfs上下载文件
  fs.copyToLocalFile(false,new Path("/456.txt"), new Path("E://789.txt"), true);

  // 删除hdfs上的文件
  fs.delete(new Path("/456.txt"));
  // 删除hdfs上的文件夹(递归删除)
  fs.delete(new Path("/456.txt"), true);