简介

NameNode

负责响应客户端请求。
负责管理元数据(文件名、副本数、Block存放的DN)。

DataNode

存储数据。
向NN发送心跳，汇报本身及Block信息。
默认block为128mb。

Secondary NameNode

监控HDFS状态的辅助后台程序，合并fsimage与edits。
fsimage：元数据镜像文件，存储NameNode元数据信息(Secondary Namenode通过合并edits来更新内容)
edits：操作日志文件。

HDFS优缺点

优点

数据多份、硬件容错
适合存储大文件
一次写入多次读取
构建在廉价的机械上

缺点

不适合小文件存储

HDFS shell

hdfs dfs 也可以用hadoop fs
-ls

       ls [-R]   显示当前目录下所有文件
示例：
       hadoop fs -ls /  [显示根目录文件
       hadoop fs -ls -R /   [递归展示

-put

       -put    //本地文件上传到hdfs
示例：
       hadoop fs -put hello.txt /           [上传文件到hdfs
       hadoop fs -put hello.dir /           [上传一个文件夹，并且文件夹中有文件
       hadoop fs -put ./salesFile ./wcFile /    [上传多个文件

-get

       -get [-ignoreCrc]    //复制文件到本地，可以忽略crc校验
示例：
       hadoop fs -get /hello.dir hello2.dir [从hdfs下载一个文件夹包括文件
       hadoop fs -get /hello.txt hello2.txt [从hdfs下载一个文件

-cat

       -cat   //在终端显示文件内容
示例：
       hadoop fs -cat /hello.txt            [查看文件内容
       hadoop fs -cat /hello.dir/hello2.txt

-mkdir

       -mkdir   //创建文件夹
示例：
       hadoop fs -mkdir /hello3.dir     [创建文件夹

-touchz

       -touchz   //创建一个空文件
示例：
       hadoop fs -touchz /hello3.dir/hello3.txt [创建一个空文件

-mv

       -mv    //移动多个文件到目标目录
示例：
       hadoop fs -mv /hello.txt /hello3.dir [移动文件
       hadoop fs -mv /hello.dir /hello3.dir [移动一个目录包括子文件

-cp

       -cp    //复制多个文件到目标目录
       注意这是拷贝hdfs中的文件，而不能用来上传。
示例：
       hadoop fs -cp /hello3.dir/hello.txt /hello3.dir/hello2.txt   [拷贝一个文件
       hadoop fs -cp /hello3.dir /hello.dir                    [拷贝一整个目录

-rm

       -rm   [-r] //删除文件(夹)
示例：
       hadoop fs -rm /hello3.dir/hello.txt  [删除文件
       hadoop fs -rm -R /hello3.dir         [删除文件夹
       hadoop fs -rm -r /hello.dir          [删除文件夹

HDFS JavaAPI

添加依赖

    
         org.apache.hadoop
         hadoop-client
         2.6.0-cdh5.7.0
    
因为用的CDH的版本，所以需要加上这个
   
      
         cloudera
         https://repository.cloudera.com/artifactory/cloudera-repos/

上传文件

    /**
    * 上传文件
    * @throws URISyntaxException
    * @throws IOException
    * @throws InterruptedException
    */
   @Test
   public void put() throws URISyntaxException, IOException, InterruptedException {
      FileSystem fileSystem = FileSystem.get(
            new URI("hdfs://host000:8020"),
            new Configuration(), "user000");
//    //写法1-----------------------------
//    使用copyFromLocalFile方法
//    fileSystem.copyFromLocalFile(new Path("./file"), new Path("/file1"));

//    //写法2-----------------------------
//    使用create创建输出流
//    FileInputStream in = new FileInputStream("./file");
//    FSDataOutputStream out = fileSystem.create(new Path("/file2"));
//    IOUtils.copy(in, out);
//    in.close();
//    out.close();

//    //---------------------------------
//    带有进度提示
      FileInputStream in = new FileInputStream(
            "/Users/baozi/dev/doc/bigdata/hadoop-2.6.0-cdh5.7.0.tar.gz");
      FSDataOutputStream out = fileSystem.create(new Path("/file3"),
            () -> System.out.print("."));//这是实现Progressable接口
      IOUtils.copy(in, out);
      in.close();
      out.close();
   }

下载文件

    /**
    * 下载文件
    * @throws URISyntaxException
    * @throws IOException
    * @throws InterruptedException
    */
   @Test
   public void get() throws URISyntaxException, IOException, InterruptedException {
      FileSystem fileSystem = FileSystem.get(
            new URI("hdfs://host000:8020"),
            new Configuration(), "user000");
//    //写法1-----------------------------
//    使用copyToLocalFile方法
      fileSystem.copyToLocalFile(new Path("/file1"), new Path("./file1"));

//    //写法2-----------------------------
//    使用open创建输入流。（create和open都是相对hdfs的）
//    FSDataInputStream in = fileSystem.open(new Path("/file2"));
//    FileOutputStream out = new FileOutputStream("./file2");
//    IOUtils.copy(in, out);
//    out.close();
//    in.close();
   }

显示所有文件

/**
 * 查看某个目录下的所有文件
 * 这里会发现一个问题，我hadoop配置里副本数配置为1，但是我查看到的有些副本数是3
 * 原因是：使用Java API上传的文件使用的是Hadoop默认的副本3。
 *         但使用Hadoop命令上传的使用的是我们配置的，这里配置的是1。
 * @throws URISyntaxException
 * @throws IOException
 * @throws InterruptedException
 */
@Test
public void listFiles() throws URISyntaxException, IOException, InterruptedException {
   FileSystem fileSystem = FileSystem.get(
         new URI("hdfs://host000:8020"),
         new Configuration(), "user000");
   FileStatus[] fileStatus = fileSystem.listStatus(new Path("/"));
   for (FileStatus f : fileStatus) {
      String fileType = f.isDirectory() ? "目录" : "文件";
      String path = "Path:" + f.getPath();
      String blockSize = "BlockSize:" + f.getBlockSize();
      String len = "Len:" + f.getLen();
      String replications = "副本数:" + f.getReplication();
      System.out.printf("%s\t%s\t%s\t%s\t%s\n",fileType,path,blockSize,len,replications);
   }
}

显示文件内容

其实就是下载

/**
 * 查看HDFS文件的内容
 * @throws URISyntaxException
 * @throws IOException
 * @throws InterruptedException
 */
@Test
public void cat() throws URISyntaxException, IOException, InterruptedException {
   FileSystem fileSystem = FileSystem.get(
         new URI("hdfs://host000:8020"),
         new Configuration(), "user000");
   //其实和下载一样，就是不输出到文件，输出到控制台
   FSDataInputStream in = fileSystem.open(new Path("/file1"));
   IOUtils.copy(in,System.out);
   in.close();
}

创建文件夹

/**
 * 创建HDFS目录
 * @throws URISyntaxException
 * @throws IOException
 * @throws InterruptedException
 */
@Test
public void mkdirs() throws URISyntaxException, IOException, InterruptedException {
   FileSystem fileSystem = FileSystem.get(
         new URI("hdfs://host000:8020"),
         new Configuration(), "user000");
   fileSystem.mkdirs(new Path("/baozi/baozi2"));
}

创建文件

其实就是上传

/**
 * 创建文件
 * @throws URISyntaxException
 * @throws IOException
 * @throws InterruptedException
 */
@Test
public void touchz() throws URISyntaxException, IOException, InterruptedException {
   FileSystem fileSystem = FileSystem.get(
         new URI("hdfs://host000:8020"),
         new Configuration(), "user000");
   //就是创建一个输出流，写文件，其实和上传一样。
   FSDataOutputStream out = fileSystem.create(new Path("/baozi/baozi2/newFile"));
   out.write("baozi".getBytes());
   out.flush();
   out.close();
}

重命名文件

/**
 * 重命名
 * @throws URISyntaxException
 * @throws IOException
 * @throws InterruptedException
 */
@Test
public void rename() throws URISyntaxException, IOException, InterruptedException {
   FileSystem fileSystem = FileSystem.get(
         new URI("hdfs://host000:8020"),
         new Configuration(), "user000");
   fileSystem.rename(new Path("/baozi/baozi2/newFile"),new Path("/baozi/baozi2/oldFile"));
}

删除文件

/**
 * 删除
 * @throws URISyntaxException
 * @throws IOException
 * @throws InterruptedException
 */
@Test
public void rm() throws URISyntaxException, IOException, InterruptedException {
   FileSystem fileSystem = FileSystem.get(
         new URI("hdfs://host000:8020"),
         new Configuration(), "user000");
   //true递归删除
   fileSystem.delete(new Path("/baozi"),true);
}

HDFS

简介