HDFS的JAVA上传下载简单实现

1.HDFS的Java基本操作非常重要
2.Haoop的常用shell操作
     1.hadoop fs -ls hdfs://haoop1:8020/目录
        
     2.hadoop fs -copyFromLocal|put   文件地址    目的目录
        
     3.hadoop fs -copyToLocal|get  文件地址    目的目录
     4.hadoop fs -moveToLocal   文件地址  目地址
     5.hadoop fs -mkdir  创建文件夹
      6.hadoop fs -rm -r -skipTrash 目标文件夹或文件（不在回收站中保留）

3.HDFS的基本操作
    1）构造一个hdfs的客户端(可指定URI和user，如指定，则可省略第二步)
       FileSystem  
       例子：FileSystem  fs = FileSystem.get(new URI("hdfs://hadoop1:8020"),new Configuration(),"用户名")
    2)构造一个配置参数封装对象
       Configuration 默认的fs.defaultFS的默认值是file：///指的是本地文件系统URI，我们需要需改
    3)执行操作
        a) fs.copyFromLocalFile
        b) fs.copyToLocalFile(false,XX,XX,true); 第一个参数是否移除hdfs上的文件，第四个参数，是否使用本地文件系统
        c）fs.listFiles  查看文件的信息(只能列出文件信息)
        d) fs.listStatus  查看文件和文件夹的信息
        e) fs.getFileBlockLocations 查看文件块的信息（指定偏移量）
        f) fs.concat   连接多个文件
        h) fs.getUse   获得整个文件系统的已使用空间
        i) fs.rename   文件改名
        j) fs.setReplocation   修改文件的副本数量

    4)操作完毕后，关闭客户端
4. HDFS的IO流操作
    1）fs.open()  获得hdfs文件的输入流   拿到FSDataInputStream(随机流，可支持seek方法)
    2）IOUtils.copyBytes方法处理流,可指定缓冲流大小   记得关闭流！
       从指定偏移量读取hdfs中的文件数据，具有重大意义，在分布式数据处理时，可以将数据分片来分配给不同的节点处理
    3）fs.create() 获得hdfs上文件的输出流  
    

 

    
  
       

  
       

5.  HDFS的写数据流程
        1）客户端向nameNode请求上传文件
        2）nameNode检查上传路径的合法性
        3）nameNode反馈给客户端可以上传
        4）客户端向nameNode请求上传第一个Block
        5）nameNode返回给一个dataNode节点列表给客户端（取决与设置的副本数量和网络拓扑图）
        6）客户端向第一个dataNode节点请求上传数据（请求建立PiPeLine），第一个节点也向它兄弟做一个请求
        7）dataNode节点响应客户端的请求，PiPeLine建立成功
        8）客户端向dataNode1以Soket流的方式发送数据，以packet（64K）为单位，dataNode1通过管道
           依次复制给它的兄弟，同时依次返回接受响应。按照这种方式依次将所有的packet和block传完。
           
6.  HDFS的读数据流程
        1）客户端将读请求（附带文件路径Path）发送给nameNode
            nameNode上保存了元数据
        2）nameNode在元数据中查找该文件的块信息和存放信息并反馈给客户端
        3）客户端根据网络拓扑图去相应的datanode请求数据（建立socket流管道）
        4）nameNode通过socket流来将数据传给客户端
        5）多次读取完成操作
        
7.HDFS中nameNode管理元数据的机制
  1）NameNode:
            响应客户端请求
            维护目录树
            管理元数据