Hadoop：HDFS概述和Shell、API操作

一、HDFS概述

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种

1.1 HDFS定义

HDFS (Hadoop Distributed File System)， 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS的使用场景:适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

1.2 HDFS优缺点

优点：

1. 高容错性
   数据自动保存多个副本。它通过增加副本的形式，提高容错性。
   某一个副本丢失以后，它可以自动恢复。
2. 适合大数据处理
   数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据
   文件规模：能够处理百万规模以上的文件数量，数量相当之大
3. 流式数据访问，它能保证数据的一致性
4. 可构建在廉价机器上，通过多副本机制，提高可靠性

缺点：

1. 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的
2. 无法高效的对大量小文件进行存储
   存储大量小文件的话，它会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的
   小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标
3. 并发写入、文件随机修改
   一个文件只能有一个写，不允许多个线程同时写
   仅支持数据append（追加），不支持文件的随机修改

1.3 HDFS组成架构

①Client:客户端

1. 文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行存储
2. 与NameNode交互，获取文件的位置信息
3. 与DataNode交互，读取或者写入数据
4. Client提供一些命令来管理HDFS，比如启动或者关闭HDFS
5. Client可以通过一些命令来访问HDFS

②NameNode(Master):主管、管理者

1. 管理HDFS的名称空间’
2. 管理数据块（Block）映射信息
3. 配置副本策略
4. 处理客户端读写请求

③DataNode(Slave):NameNode下达命令，DataNode执行实际的操作

1. 存储实际的数据块
2. 执行数据块的读/写操作

④Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务

1. 辅助NameNode，分担其工作量
2. 定期合并Fsimage和Edits，并推送给NameNode
3. 在紧急情况下，可辅助恢复NameNode

1.4 HDFS 文件块大小

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB（10ms/1%*100M/s = 100M）,默认的块大小128MB。

为什么块的大小不能设置太小，也不能设置太大?

• HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置
• 如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。

总结：HDFS块的大小设置主要取决于磁盘传输速率。

二、HFDS的Shell操作

基本语法：hadoop fs 具体命令或hdfs dfs 具体命令

①-help：输出这个命令参数

[root@hadoop100 hadoop-2.7.2]# hadoop fs -help rm
-rm [-f] [-r|-R] [-skipTrash] <src> ... :
  Delete all files that match the specified file pattern. Equivalent to the Unix
  command "rm "
                                                                                 
  -skipTrash  option bypasses trash, if enabled, and immediately deletes <src>   
  -f          If the file does not exist, do not display a diagnostic message or 
              modify the exit status to reflect an error.                        
  -[rR]       Recursively deletes directories                                    

②-ls: 显示目录信息

[root@hadoop100 hadoop-2.7.2]# hadoop fs -ls /
Found 3 items
drwxr-xr-x   - root supergroup          0 2020-05-21 19:54 /output
drwxr-xr-x   - root supergroup          0 2020-05-21 19:50 /test
drwx------   - root supergroup          0 2020-05-21 19:54 /tmp

③-mkdir：在HDFS上创建目录

[root@hadoop100 hadoop-2.7.2]# hadoop fs -mkdir -p /user/hucheng

④-moveFromLocal：从本地剪切粘贴到HDFS

[root@hadoop100 hadoop-2.7.2]# hadoop fs -moveFromLocal ./jpsall.sh /user/hucheng

⑤-appendToFile ：追加一个文件到已经存在的文件末尾

[root@hadoop100 ~]# hadoop fs -appendToFile test.txt /user/hucheng/jpsall.sh

⑥-cat：显示文件内容

[root@hadoop100 ~]# hadoop fs -cat /user/hucheng/jpsall.sh

⑦-chgrp 、-chmod、-chown修改文件所属权限

[root@hadoop100 ~]# hadoop fs  -chmod  +x /user/hucheng/jpsall.sh

⑧-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

[root@hadoop100 ~]# hadoop fs -copyFromLocal README.txt /user/hucheng

⑨-copyToLocal:从HDFS拷贝到本地

[root@hadoop100 ~]# hadoop fs -copyToLocal /user/hucheng/jpsall.sh ./

⑩-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径

[root@hadoop100 ~]# hadoop fs -cp /user/hucheng/jpsall.sh /

⑪-mv：在HDFS目录中移动文件

[root@hadoop100 ~]# hadoop fs -mv /readme.txt /user/hucheng

⑫-get：等同于copyToLocal，就是从HDFS下载文件到本地

[root@hadoop100 ~]# hadoop fs -get /user/hucheng/jpsall.sh ./

⑬-getmerge：合并下载多个文件

[root@hadoop100 ~]# hadoop fs -getmerge /user/hucheng/logs/* ./logs.txt

⑭-put：等同于copyFromLocal

[root@hadoop100 ~]# hadoop fs -put ./jpsall.sh /user/hucheng

⑮-tail：显示一个文件的末尾

[root@hadoop100 ~]# hadoop fs -tail /user/hucheng/jpsall.sh

⑯-rm：删除文件或文件夹

[root@hadoop100 ~]# hadoop fs -rm /user/hucheng/jpsall.sh

⑰-rmdir：删除空目录

[root@hadoop100 ~]# hadoop fs -rmdir /test

⑱-du统计文件夹的大小信息

[root@hadoop100 ~]# hadoop fs -du -h /user/hucheng
171  /user/hucheng/jpsall.sh

⑲-setrep：设置HDFS中文件的副本数量

[root@hadoop100 ~]# hadoop fs -setrep 10 /user/hucheng/jpsall.sh

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10

三、HFDS客户端操作

①配置HDFS客户端环境

配置HADOOP_HOME和PATH

②引入依赖

<dependency>
    <groupId>junitgroupId>
    <artifactId>junitartifactId>
    <version>RELEASEversion>
dependency>
<dependency>
    <groupId>org.apache.logging.log4jgroupId>
    <artifactId>log4j-coreartifactId>
    <version>2.8.2version>
dependency>
<dependency>
    <groupId>org.apache.hadoopgroupId>
    <artifactId>hadoop-commonartifactId>
    <version>2.7.2version>
dependency>
<dependency>
    <groupId>org.apache.hadoopgroupId>
    <artifactId>hadoop-clientartifactId>
    <version>2.7.2version>
dependency>
<dependency>
    <groupId>org.apache.hadoopgroupId>
    <artifactId>hadoop-hdfsartifactId>
    <version>2.7.2version>
dependency>

③API操作

public class HdfsClientTest {

    private FileSystem fileSystem;

    @Before
    public void before() throws URISyntaxException, IOException, InterruptedException {
        //这个user需要是在HDFS上有操作权限的用户
        fileSystem = FileSystem.get(new URI("hdfs://hadoop100:9000"), new Configuration(), "root");
    }

    @After
    public void after() throws IOException {
        fileSystem.close();
    }

    /**
     * 上传
     */
    @Test
    public void testUpload() throws IOException {
        fileSystem.copyFromLocalFile(new Path("d:/HelloDFS.txt"), new Path("/test"));
    }

    /**
     * 创建文件夹
     */
    @Test
    public void testMkdirs() throws IOException {
        //获取文件配置
        fileSystem.mkdirs(new Path("/test2"));
    }

    /**
     * 删除文件夹
     */
    @Test
    public void testDelDirs() throws IOException {
        fileSystem.delete(new Path("/test2"), true);
    }

    /**
     * 更改文件名
     */
    @Test
    public void testRenameFile() throws IOException {
        fileSystem.rename(new Path("/test/HelloDFS.txt"), new Path("/test/hello.txt"));
    }

    /**
     * 获取文件详情
     */
    @Test
    public void testFileDetail() throws IOException {
        RemoteIterator<LocatedFileStatus> files = fileSystem.listFiles(new Path("/test"), true);
        while (files.hasNext()) {
            LocatedFileStatus fileStatus = files.next();
            //判断是否是文件
            System.out.println(fileStatus.isFile());
            //文件名
            System.out.println(fileStatus.getPath().getName());
            //长度
            System.out.println(fileStatus.getLen());
            //权限
            System.out.println(fileStatus.getPermission());
            //分组
            System.out.println(fileStatus.getGroup());
            //获取存储块信息
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            for (BlockLocation blockLocation : blockLocations) {
                String[] hosts = blockLocation.getHosts();
                for (String host : hosts) {
                    System.out.print(host + " ");
                }
                System.out.println();
            }
        }

    }
}