Hadoop生态圈（二）：HDFS

目录

1 HDFS的概述

1.1 HDFS的概念

1.2 HDFS优缺点

1.2.1 优点

1.2.2 缺点

1.3 HDFS的架构

1.4 block文件块的大小

2 HDFS的shell客户端操作

3 HDFS的java客户端操作

3.1 HDFS客户端操作

4 HDFS的数据流

4.1 HDFS写数据流程

4.2 HDFS读数据流程

5 NameNode和Second NameNode的工作机制

5.1 NN和2NN的工作流程

5.2 checkpoint时间设置

5.3 集群安全模式

6 NameNode工作机制

---

1 HDFS的概述

随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

 1.1 HDFS的概念

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。集群不一定是分布式的，但是分布式一定是集群。

HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

1.2 HDFS优缺点

1.2.1 优点

1. 高容错性
   1. 数据自动保存多个副本。它通过增加副本的形式，提高容错性；
   2. 某一个副本丢失以后，它可以自动恢复。
2. 适合大数据处理
   1. 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
   2. 文件规模：能够处理百万规模以上的文件数量，数量相当之大。
3. 可构建在廉价机器上，通过多副本机制，提高可靠性。

1.2.2 缺点

1. 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
2. 无法高效的对大量小文件进行存储。
   1. 存储大量小文件的话，它会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；
   2. 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
      1. 寻址时间，目前技术水平在10ms左右  
      2. 传输寻址时间/传输时间=1%，传输时间1000ms=1s，磁盘传输速度100M/S,计算机是2的n次方，所以hadoop2.x默认块的大小为128m
3. 不支持并发写入、文件随机修改。
   1. 一个文件只能有一个写，不允许多个线程同时写；
   2. 仅支持数据append（追加），不支持文件的随机修改。

1.3 HDFS的架构

结构主要有四个部分组成：分别为HDFS client、NameNode、DataNode和Second NameNode。

1. client：就是客户端

1. 文件切分。文件上传HDFS时候，Client将文件切分为一个个的block块，然后进行存储；
2. 与NameNode交互，获取文件的存储位置；
3. 与DataNode交互，读取或写入数据；
4. client提供一些命令来管理HDFS，比如启动或关闭HDFS；
5. client可以通过一些命令来访问HDFS；

2. NameNode：就是master，是一个主管、管理者

1. 管理HDFS的名称空间：namespace；
2. 管理数据块（block）的映射信息；
3. 配置副本策略（默认：3）；
4. 处理客户端的请求；

3. DataNode：就是slave。NameNode下达命令，DataNode执行具体操作

1. 存储实际的数据块；
2. 执行数据块的读/写操作；

4. Second NameNode：并非是NameNode的热备，当NameNode挂掉之后，并不能马上替换NameNode并提供服务

1. 辅助NameNode，并分担工作量；
2. 定期合并Fsimage和Edits，并推送给NameNode；
3. 在紧急情况下，可辅助恢复NameNode

1.4 block文件块的大小

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

2 HDFS的shell客户端操作

1. 基本语法

bin/hadoop fs 具体命令

2. 命令大全

[root@hadoop101 hadoop-2.7.2]$ bin/hadoop fs

[-appendToFile ... ]         [-cat [-ignoreCrc] ...]         [-checksum ...]         [-chgrp [-R] GROUP PATH...]         [-chmod [-R] PATH...]         [-chown [-R] [OWNER][:[GROUP]] PATH...]         [-copyFromLocal [-f] [-p] ... ]         [-copyToLocal [-p] [-ignoreCrc] [-crc] ... ]         [-count [-q] ...]         [-cp [-f] [-p] ... ]         [-createSnapshot []]         [-deleteSnapshot ]         [-df [-h] [ ...]]         [-du [-s] [-h] ...]         [-expunge]         [-get [-p] [-ignoreCrc] [-crc] ... ]         [-getfacl [-R] ]         [-getmerge [-nl] ]         [-help [cmd ...]]         [-ls [-d] [-h] [-R] [ ...]]         [-mkdir [-p] ...]         [-moveFromLocal ... ]         [-moveToLocal ]         [-mv ... ]         [-put [-f] [-p] ... ]         [-renameSnapshot ]         [-rm [-f] [-r|-R] [-skipTrash] ...]         [-rmdir [--ignore-fail-on-non-empty] ...]         [-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set ]]         [-setrep [-R] [-w] ...]         [-stat [format] ...]         [-tail [-f] ]         [-test -[defsz] ]         [-text [-ignoreCrc] ...]         [-touchz ...]         [-usage [cmd ...]]

3．常用命令实操

（0）启动Hadoop集群（方便后续的测试）

[root@hadoop101 hadoop-2.7.2]$ sbin/start-dfs.sh

[root@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh

（1）-help：输出这个命令参数

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -help rm

（2）-ls: 显示目录信息

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -ls /

（3）-mkdir：在hdfs上创建目录

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -mkdir -p /sanguo/shuguo

（4）-moveFromLocal从本地剪切粘贴到hdfs

[root@hadoop101 hadoop-2.7.2]$ touch kongming.txt

[root@hadoop101 hadoop-2.7.2]$ hadoop fs  -moveFromLocal  ./kongming.txt  /sanguo/shuguo

（5）-appendToFile  ：追加一个文件到已经存在的文件末尾

[root@hadoop101 hadoop-2.7.2]$ touch liubei.txt

[root@hadoop101 hadoop-2.7.2]$ vim liubei.txt

输入

san gu mao lu

[root@hadoop102 hadoop-2.7.2]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

（6）-cat：显示文件内容

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/kongming.txt

（7）-tail：显示一个文件的末尾

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -tail /sanguo/shuguo/kongming.txt

（8）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

[root@hadoop101 hadoop-2.7.2]$ hadoop fs  -chmod  666  /sanguo/shuguo/kongming.txt

[root@hadoop101 hadoop-2.7.2]$ hadoop fs  -chown  root:root   /sanguo/shuguo/kongming.txt

（9）-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt /

（10）-copyToLocal：从hdfs拷贝到本地

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./

（11）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

（12）-mv：在hdfs目录中移动文件

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/

（13）-get：等同于copyToLocal，就是从hdfs下载文件到本地

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./

（14）-getmerge  ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -getmerge /sanguo/shuguo/* ./zaiyiqi.txt

（15）-put：等同于copyFromLocal

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /sanguo/shuguo/

（16）-rm：删除文件或文件夹

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -rm /user/root/test/jinlian2.txt

（17）-rmdir：删除空目录（了解）

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -mkdir /test

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -rmdir /test

（18）-du统计文件夹的大小信息 -s 统计制定文件夹的大小 -h 统计制定文件夹下各个文件的大小

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -du -s -h /user/root/test

2.7 K  /user/root/test

[root@hadoop102 hadoop-2.7.2]$ hadoop fs -du  -h /user/root/test

1.3 K  /user/root/test/README.txt

15     /user/root/test/jinlian.txt

1.4 K  /user/root/test/zaiyiqi.txt

（19）-setrep：设置hdfs中文件的副本数量

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，

3 HDFS的java客户端操作

官网自行下载或者：请点这里     提取码：xv1g 

3.1 HDFS客户端操作

1．根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2），如图所示

2.配置HADOOP_HOME的环境变量

3. 配置Path环境变量

4. 创建maven工程并添加下列依赖

    
        junit
        junit
        4.12
    
    
        org.apache.logging.log4j
        log4j-core
        2.10.0
    
    
        org.apache.hadoop
        hadoop-client
        2.7.2
    
    
        org.apache.hadoop
        hadoop-hdfs
        2.7.2
    

日志配置文件 log4j.properties

log4j.rootLogger=debug, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

5. HDFS的API操作

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;


public class HdfsClientDemo {

    private FileSystem fileSystem = null;
    private Configuration conf = null;

    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {

        // 1.获取文件系统
        conf = new Configuration();
        // 指定副本数目
        conf.set("dfs.replication", "10");

        //conf.set("fs.defaultFS","hdfs://hadoop101:9000");
        //FileSystem fileSystem = FileSystem.get(conf);

        fileSystem = FileSystem.get(new URI("hdfs://hadoop101:9000"), conf, "root");
    }

    @After
    public void after() throws IOException {
        // 3.释放资源
        fileSystem.close();
    }

    //创建文件夹
    @Test
    public void testMkdir() throws URISyntaxException, IOException, InterruptedException {
        // 2.创建文件夹
        fileSystem.mkdirs(new Path("/1105"));
    }

    //上传文件
    @Test
    public void testCopyFromLocal() throws Exception {
        // 2.上传文件
        fileSystem.copyFromLocalFile(new Path("E:/hadoop-2.7.2.rar"), new Path("/java/"));
    }

    //删除文件
    @Test
    public void testCopyToLocal() throws IOException {
        fileSystem.copyToLocalFile(true, new Path("/1105/liubei.txt"), new Path("E:/jiezou"));
    }

    //文件夹删除
    @Test
    public void testDeleteDir() throws IOException {
        fileSystem.delete(new Path("/bigdata"), true);
    }

    //文件夹更改
    @Test
    public void testRename() throws IOException {
        fileSystem.rename(new Path("/java/java.txt"), new Path("/java/java2.txt"));
    }

    //文件状态测试
    @Test
    public void testFileStatus() throws IOException {
        FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/java"));
        for (FileStatus fileStatus : fileStatuses) {
            if (fileStatus.isDirectory()) {
                System.out.println("i am directory" + fileStatus.getPath().getName());
            } else if (fileStatus.isFile()) {
                System.out.println("i am file" + fileStatus.getPath().getName());
            }
        }
    }

    /**
     * 通过io流操作hdfs
     * 文件上传
     */
    @Test
    public void testUploadTOHdfsByStream() throws IOException {
        // 1.定义输入流
        FileInputStream fileInputStream = new FileInputStream(new File("e:/ceshi/bigdata.txt"));
        // 2.定义输出流
        FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path("/sanguo"));
        // 3.输入流和输出流对接
        IOUtils.copyBytes(fileInputStream, fsDataOutputStream, conf);

        // 4.关闭流
        IOUtils.closeStream(fsDataOutputStream);
        IOUtils.closeStream(fileInputStream);

    }

    @Test
    public void testDownloadToLocalByStream() throws IOException {
        //1.输入流定义
        FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/README.txt"));
        //2.输出流定义
        FileOutputStream fileOutputStream = new FileOutputStream("e:/read.txt");
        //3.流对接
        IOUtils.copyBytes(fsDataInputStream, fileOutputStream, conf);
        //4.关闭流
        IOUtils.closeStream(fileOutputStream);
        IOUtils.closeStream(fsDataInputStream);
    }


    /**
     * 分块下载，下载第一块
     */
    @Test
    public void testReadFileBlock1() throws IOException {
        //1.定义输入流
        FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/java/hadoop-2.7.2.rar"));
        //2.定义输出流
        FileOutputStream fileOutputStream = new FileOutputStream(new File("E:/ceshi/hadoop-2.7.2.rar.part1"));

        byte[] buffer = new byte[1024];
        for (int i = 1; i <= 1024 * 128; i++) {
            fsDataInputStream.read(buffer);
            fileOutputStream.write(buffer);
        }

        //4.关闭流
        IOUtils.closeStream(fileOutputStream);
        IOUtils.closeStream(fsDataInputStream);
    }

    /**
     * 分块下载，下载第二块
     */
    @Test
    public void testReadFileBlock2() throws IOException {
        //1.定义输入流
        FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/java/hadoop-2.7.2.rar"));
        //2.定义输出流
        FileOutputStream fileOutputStream = new FileOutputStream(new File("E:/ceshi/hadoop-2.7.2.rar.part2"));

        fsDataInputStream.seek(1024 * 1024 * 128);

        IOUtils.copyBytes(fsDataInputStream,fileOutputStream,conf);
        IOUtils.closeStream(fileOutputStream);
        IOUtils.closeStream(fsDataInputStream);
    }
}

4 HDFS的数据流

4.1 HDFS写数据流程

 

1. 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否存在，父目录是否存在；
2. NameNode返回是否可以上传；
3. 客户端请求上传第一个block块，询问NameNode存放在那个DataNode；
4. NameNode返回三个DataNode节点分别为DN1、DN2、DN3；
5. 客户端通过FSDataOutputStream模块请求向DN1上写数据，DN1收到请求调用DN2、DN2调用DN3，传输管道建立完成
6. 三个DataNode节点逐级响应客户端（只要DataNode1反馈响应即可写入，其他的节点等到恢复后可由DN1数据复制到本地）
7. 客户端开始向DN1上传第一个block块（先从磁盘读取放到本地的内存缓存），以packet为单位，DN1收到一个packet后写入磁盘并传递给DN2，DN2传递给DN3；
8. 当一个block上传完成完成后，客户端再次请求上传第二个block（重复3~7），上传完成后close

4.2 HDFS读数据流程

 

1. 客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode查询元数据之后，找到文件块所在的DataNode地址；
2. NameNode返回目标文件所在的DataNode节点位置；
3. 客户端就近原则选择一台DataNode节点，通过FSDataInputStream读取数据；
4. 客户端以packet为单位接受数据，现在本地缓存，人后写入目标文件（其他的数据块流程类似）

5 NameNode和Second NameNode的工作机制

5.1 NN和2NN的工作流程

 

1. 第一阶段：NameNode启动

1. 第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
2. 客户端对元数据进行增删改的请求。
3. NameNode记录操作日志，更新滚动日志。
4. NameNode在内存中对数据进行增删改查。

2. 第二阶段：Secondary NameNode工作

1. Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode是否检查结果。
2. Secondary NameNode请求执行checkpoint。
3. NameNode滚动正在写的edits日志。
4. 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
5. Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
6. 生成新的镜像文件fsimage.chkpoint。
7. 拷贝fsimage.chkpoint到NameNode。
8. NameNode将fsimage.chkpoint重新命名成fsimage。

NN和2NN工作机制详解：

Fsimage：namenode内存中元数据序列化后形成的文件。

Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。

namenode启动时，先滚动edits并生成一个空的edits.inprogress，然后加载edits（归档后的）和fsimage（最新的）到内存中，此时namenode内存就持有最新的元数据信息。client开始对namenode发送元数据的增删改查的请求，这些请求的操作首先会被记录的edits.inprogress中（查询元数据的操作不会被记录在edits中，因为查询操作不会更改元数据信息），如果此时namenode挂掉，重启后会从edits中读取元数据的信息。然后，namenode会在内存中执行元数据的增删改查的操作。

由于edits中记录的操作会越来越多，edits文件会越来越大，导致namenode在启动加载edits时会很慢，所以需要对edits和fsimage进行合并（所谓合并，就是将edits和fsimage加载到内存中，照着edits中的操作一步步执行，最终形成新的fsimage）。secondarynamenode的作用就是帮助namenode进行edits和fsimage的合并工作。

secondarynamenode首先会询问namenode是否需要checkpoint（触发checkpoint需要满足两个条件中的任意一个，定时时间到和edits中数据写满了）。secondarynamenode执行checkpoint操作，首先会让namenode滚动edits并生成一个空的edits.inprogress，滚动edits的目的是给edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的edits和fsimage会拷贝到secondarynamenode的本地，然后将拷贝的edits和fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给namenode，重命名为fsimage后替换掉原来的fsimage。namenode在启动时就只需要加载之前未合并的edits和fsimage即可，因为合并过的edits中的元数据信息已经被记录在fsimage中。

5.2 checkpoint时间设置

1. 通常情况下，SecondaryNameNode每隔一小时执行一次。如果修改在hdfs-site中

默认值在[hdfs-default.xml]

        dfs.namenode.checkpoint.period

        3600

2. 一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

        dfs.namenode.checkpoint.txns

        1000000

        操作动作次数

        dfs.namenode.checkpoint.check.period

        60

        1分钟检查一次操作次数

5.3 集群安全模式

1. 概述

NameNode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。但是此刻，NameNode运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。

系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNode中。在系统的正常操作期间，NameNode会在内存中保留所有块位置的映射信息。在安全模式下，各个DataNode会向NameNode发送最新的块列表信息，NameNode了解到足够多的块位置信息之后，即可高效运行文件系统。

如果满足“最小副本条件”，NameNode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别（默认值：dfs.replication.min=1）。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以NameNode不会进入安全模式。

2. 基本语法

集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）

（2）bin/hdfs dfsadmin -safemode enter   （功能描述：进入安全模式状态）

（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）

（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态，监控安全模式）

安全模式开启：

 

3. 案例

模拟等待安全模式

（1）先进入安全模式

[root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode enter

（2）执行下面的脚本

编辑一个脚本

#!/bin/bash

bin/hdfs dfsadmin -safemode wait（安全模式关闭）

bin/hdfs dfs -put ~/hello.txt /root/hello.txt

（3）再打开一个窗口，执行

[root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode leave

6 NameNode工作机制

 

1. 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
2. DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。
3. 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。