Hadoop生态圈(二):HDFS

目录

1 HDFS的概述

1.1 HDFS的概念

1.2 HDFS优缺点

1.2.1 优点

1.2.2 缺点

1.3 HDFS的架构

1.4 block文件块的大小

2 HDFS的shell客户端操作

3 HDFS的java客户端操作

3.1 HDFS客户端操作

4 HDFS的数据流

4.1 HDFS写数据流程

4.2 HDFS读数据流程

5 NameNode和Second NameNode的工作机制

5.1 NN和2NN的工作流程

5.2 checkpoint时间设置

5.3 集群安全模式

6 NameNode工作机制


1 HDFS的概述

随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

 1.1 HDFS的概念

HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。集群不一定是分布式的,但是分布式一定是集群

HDFS的设计适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。

1.2 HDFS优缺点

1.2.1 优点

  1. 高容错性
    1. 数据自动保存多个副本。它通过增加副本的形式,提高容错性;
    2. 某一个副本丢失以后,它可以自动恢复。
  2. 适合大数据处理
    1. 数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据;
    2. 文件规模:能够处理百万规模以上的文件数量,数量相当之大。
  3. 可构建在廉价机器上,通过多副本机制,提高可靠性。

1.2.2 缺点

  1. 不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。
  2. 无法高效的对大量小文件进行存储。
    1. 存储大量小文件的话,它会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的,因为NameNode的内存总是有限的;
    2. 小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标。
      1. 寻址时间,目前技术水平在10ms左右  
      2. 传输寻址时间/传输时间=1%,传输时间1000ms=1s,磁盘传输速度100M/S,计算机是2的n次方,所以hadoop2.x默认块的大小为128m
  3. 不支持并发写入、文件随机修改。
    1. 一个文件只能有一个写,不允许多个线程同时写;
    2. 仅支持数据append(追加),不支持文件的随机修改。

1.3 HDFS的架构

Hadoop生态圈(二):HDFS_第1张图片

结构主要有四个部分组成:分别为HDFS client、NameNode、DataNode和Second NameNode。

1. client:就是客户端

  1. 文件切分。文件上传HDFS时候,Client将文件切分为一个个的block块,然后进行存储;
  2. 与NameNode交互,获取文件的存储位置;
  3. 与DataNode交互,读取或写入数据;
  4. client提供一些命令来管理HDFS,比如启动或关闭HDFS;
  5. client可以通过一些命令来访问HDFS;

2. NameNode:就是master,是一个主管、管理者

  1. 管理HDFS的名称空间:namespace;
  2. 管理数据块(block)的映射信息;
  3. 配置副本策略(默认:3);
  4. 处理客户端的请求;

3. DataNode:就是slave。NameNode下达命令,DataNode执行具体操作

  1. 存储实际的数据块;
  2. 执行数据块的读/写操作;

4. Second NameNode:并非是NameNode的热备,当NameNode挂掉之后,并不能马上替换NameNode并提供服务

  1. 辅助NameNode,并分担工作量;
  2. 定期合并Fsimage和Edits,并推送给NameNode;
  3. 在紧急情况下,可辅助恢复NameNode

1.4 block文件块的大小

HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M。

2 HDFS的shell客户端操作

1. 基本语法

bin/hadoop fs 具体命令

2. 命令大全

[root@hadoop101 hadoop-2.7.2]$ bin/hadoop fs

 

[-appendToFile ... ]

        [-cat [-ignoreCrc] ...]

        [-checksum ...]

        [-chgrp [-R] GROUP PATH...]

        [-chmod [-R] PATH...]

        [-chown [-R] [OWNER][:[GROUP]] PATH...]

        [-copyFromLocal [-f] [-p] ... ]

        [-copyToLocal [-p] [-ignoreCrc] [-crc] ... ]

        [-count [-q] ...]

        [-cp [-f] [-p] ... ]

        [-createSnapshot []]

        [-deleteSnapshot ]

        [-df [-h] [ ...]]

        [-du [-s] [-h] ...]

        [-expunge]

        [-get [-p] [-ignoreCrc] [-crc] ... ]

        [-getfacl [-R] ]

        [-getmerge [-nl] ]

        [-help [cmd ...]]

        [-ls [-d] [-h] [-R] [ ...]]

        [-mkdir [-p] ...]

        [-moveFromLocal ... ]

        [-moveToLocal ]

        [-mv ... ]

        [-put [-f] [-p] ... ]

        [-renameSnapshot ]

        [-rm [-f] [-r|-R] [-skipTrash] ...]

        [-rmdir [--ignore-fail-on-non-empty]

...]

        [-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set ]]

        [-setrep [-R] [-w] ...]

        [-stat [format] ...]

        [-tail [-f] ]

        [-test -[defsz] ]

        [-text [-ignoreCrc] ...]

        [-touchz ...]

        [-usage [cmd ...]]

3.常用命令实操

(0)启动Hadoop集群(方便后续的测试)

[root@hadoop101 hadoop-2.7.2]$ sbin/start-dfs.sh

[root@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh

(1)-help:输出这个命令参数

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -help rm

(2)-ls: 显示目录信息

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -ls /

(3)-mkdir:在hdfs上创建目录

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -mkdir -p /sanguo/shuguo

(4)-moveFromLocal从本地剪切粘贴到hdfs

[root@hadoop101 hadoop-2.7.2]$ touch kongming.txt

[root@hadoop101 hadoop-2.7.2]$ hadoop fs  -moveFromLocal  ./kongming.txt  /sanguo/shuguo

(5)-appendToFile  :追加一个文件到已经存在的文件末尾

[root@hadoop101 hadoop-2.7.2]$ touch liubei.txt

[root@hadoop101 hadoop-2.7.2]$ vim liubei.txt

输入

san gu mao lu

[root@hadoop102 hadoop-2.7.2]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

(6)-cat:显示文件内容

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/kongming.txt

(7)-tail:显示一个文件的末尾

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -tail /sanguo/shuguo/kongming.txt

(8)-chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限

[root@hadoop101 hadoop-2.7.2]$ hadoop fs  -chmod  666  /sanguo/shuguo/kongming.txt

[root@hadoop101 hadoop-2.7.2]$ hadoop fs  -chown  root:root   /sanguo/shuguo/kongming.txt

(9)-copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt /

(10)-copyToLocal:从hdfs拷贝到本地

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./

(11)-cp :从hdfs的一个路径拷贝到hdfs的另一个路径

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

(12)-mv:在hdfs目录中移动文件

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/

(13)-get:等同于copyToLocal,就是从hdfs下载文件到本地

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./

(14)-getmerge  :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -getmerge /sanguo/shuguo/* ./zaiyiqi.txt

(15)-put:等同于copyFromLocal

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /sanguo/shuguo/

(16)-rm:删除文件或文件夹

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -rm /user/root/test/jinlian2.txt

(17)-rmdir:删除空目录(了解)

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -mkdir /test

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -rmdir /test

(18)-du统计文件夹的大小信息 -s 统计制定文件夹的大小 -h 统计制定文件夹下各个文件的大小

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -du -s -h /user/root/test

2.7 K  /user/root/test

[root@hadoop102 hadoop-2.7.2]$ hadoop fs -du  -h /user/root/test

1.3 K  /user/root/test/README.txt

15     /user/root/test/jinlian.txt

1.4 K  /user/root/test/zaiyiqi.txt

(19)-setrep:设置hdfs中文件的副本数量

[root@hadoop101 hadoop-2.7.2]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

这里设置的副本数只是记录在NameNode的元数据中,是否真的会有这么多副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,

3 HDFS的java客户端操作

官网自行下载或者:请点这里     提取码:xv1g 

3.1 HDFS客户端操作

1.根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径(例如:D:\Develop\hadoop-2.7.2),如图所示

2.配置HADOOP_HOME的环境变量

Hadoop生态圈(二):HDFS_第2张图片

3. 配置Path环境变量

Hadoop生态圈(二):HDFS_第3张图片

4. 创建maven工程并添加下列依赖


    
        junit
        junit
        4.12
    
    
        org.apache.logging.log4j
        log4j-core
        2.10.0
    
    
        org.apache.hadoop
        hadoop-client
        2.7.2
    
    
        org.apache.hadoop
        hadoop-hdfs
        2.7.2
    

日志配置文件 log4j.properties

log4j.rootLogger=debug, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

5. HDFS的API操作

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;


public class HdfsClientDemo {

    private FileSystem fileSystem = null;
    private Configuration conf = null;

    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {

        // 1.获取文件系统
        conf = new Configuration();
        // 指定副本数目
        conf.set("dfs.replication", "10");

        //conf.set("fs.defaultFS","hdfs://hadoop101:9000");
        //FileSystem fileSystem = FileSystem.get(conf);

        fileSystem = FileSystem.get(new URI("hdfs://hadoop101:9000"), conf, "root");
    }

    @After
    public void after() throws IOException {
        // 3.释放资源
        fileSystem.close();
    }

    //创建文件夹
    @Test
    public void testMkdir() throws URISyntaxException, IOException, InterruptedException {
        // 2.创建文件夹
        fileSystem.mkdirs(new Path("/1105"));
    }

    //上传文件
    @Test
    public void testCopyFromLocal() throws Exception {
        // 2.上传文件
        fileSystem.copyFromLocalFile(new Path("E:/hadoop-2.7.2.rar"), new Path("/java/"));
    }

    //删除文件
    @Test
    public void testCopyToLocal() throws IOException {
        fileSystem.copyToLocalFile(true, new Path("/1105/liubei.txt"), new Path("E:/jiezou"));
    }

    //文件夹删除
    @Test
    public void testDeleteDir() throws IOException {
        fileSystem.delete(new Path("/bigdata"), true);
    }

    //文件夹更改
    @Test
    public void testRename() throws IOException {
        fileSystem.rename(new Path("/java/java.txt"), new Path("/java/java2.txt"));
    }

    //文件状态测试
    @Test
    public void testFileStatus() throws IOException {
        FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/java"));
        for (FileStatus fileStatus : fileStatuses) {
            if (fileStatus.isDirectory()) {
                System.out.println("i am directory" + fileStatus.getPath().getName());
            } else if (fileStatus.isFile()) {
                System.out.println("i am file" + fileStatus.getPath().getName());
            }
        }
    }

    /**
     * 通过io流操作hdfs
     * 文件上传
     */
    @Test
    public void testUploadTOHdfsByStream() throws IOException {
        // 1.定义输入流
        FileInputStream fileInputStream = new FileInputStream(new File("e:/ceshi/bigdata.txt"));
        // 2.定义输出流
        FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path("/sanguo"));
        // 3.输入流和输出流对接
        IOUtils.copyBytes(fileInputStream, fsDataOutputStream, conf);

        // 4.关闭流
        IOUtils.closeStream(fsDataOutputStream);
        IOUtils.closeStream(fileInputStream);

    }

    @Test
    public void testDownloadToLocalByStream() throws IOException {
        //1.输入流定义
        FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/README.txt"));
        //2.输出流定义
        FileOutputStream fileOutputStream = new FileOutputStream("e:/read.txt");
        //3.流对接
        IOUtils.copyBytes(fsDataInputStream, fileOutputStream, conf);
        //4.关闭流
        IOUtils.closeStream(fileOutputStream);
        IOUtils.closeStream(fsDataInputStream);
    }


    /**
     * 分块下载,下载第一块
     */
    @Test
    public void testReadFileBlock1() throws IOException {
        //1.定义输入流
        FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/java/hadoop-2.7.2.rar"));
        //2.定义输出流
        FileOutputStream fileOutputStream = new FileOutputStream(new File("E:/ceshi/hadoop-2.7.2.rar.part1"));

        byte[] buffer = new byte[1024];
        for (int i = 1; i <= 1024 * 128; i++) {
            fsDataInputStream.read(buffer);
            fileOutputStream.write(buffer);
        }

        //4.关闭流
        IOUtils.closeStream(fileOutputStream);
        IOUtils.closeStream(fsDataInputStream);
    }

    /**
     * 分块下载,下载第二块
     */
    @Test
    public void testReadFileBlock2() throws IOException {
        //1.定义输入流
        FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/java/hadoop-2.7.2.rar"));
        //2.定义输出流
        FileOutputStream fileOutputStream = new FileOutputStream(new File("E:/ceshi/hadoop-2.7.2.rar.part2"));

        fsDataInputStream.seek(1024 * 1024 * 128);

        IOUtils.copyBytes(fsDataInputStream,fileOutputStream,conf);
        IOUtils.closeStream(fileOutputStream);
        IOUtils.closeStream(fsDataInputStream);
    }
}

4 HDFS的数据流

4.1 HDFS写数据流程

Hadoop生态圈(二):HDFS_第4张图片

 

  1. 客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否存在,父目录是否存在;
  2. NameNode返回是否可以上传;
  3. 客户端请求上传第一个block块,询问NameNode存放在那个DataNode;
  4. NameNode返回三个DataNode节点分别为DN1、DN2、DN3;
  5. 客户端通过FSDataOutputStream模块请求向DN1上写数据,DN1收到请求调用DN2、DN2调用DN3,传输管道建立完成
  6. 三个DataNode节点逐级响应客户端(只要DataNode1反馈响应即可写入,其他的节点等到恢复后可由DN1数据复制到本地)
  7. 客户端开始向DN1上传第一个block块(先从磁盘读取放到本地的内存缓存),以packet为单位,DN1收到一个packet后写入磁盘并传递给DN2,DN2传递给DN3;
  8. 当一个block上传完成完成后,客户端再次请求上传第二个block(重复3~7),上传完成后close

4.2 HDFS读数据流程

Hadoop生态圈(二):HDFS_第5张图片

 

  1. 客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode查询元数据之后,找到文件块所在的DataNode地址;
  2. NameNode返回目标文件所在的DataNode节点位置;
  3. 客户端就近原则选择一台DataNode节点,通过FSDataInputStream读取数据;
  4. 客户端以packet为单位接受数据,现在本地缓存,人后写入目标文件(其他的数据块流程类似)

5 NameNode和Second NameNode的工作机制

5.1 NN和2NN的工作流程

Hadoop生态圈(二):HDFS_第6张图片

 

1. 第一阶段:NameNode启动

  1. 第一次启动NameNode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。
  2. 客户端对元数据进行增删改的请求。
  3. NameNode记录操作日志,更新滚动日志。
  4. NameNode在内存中对数据进行增删改查。

2. 第二阶段:Secondary NameNode工作

  1. Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode是否检查结果。
  2. Secondary NameNode请求执行checkpoint。
  3. NameNode滚动正在写的edits日志。
  4. 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
  5. Secondary NameNode加载编辑日志和镜像文件到内存,并合并。
  6. 生成新的镜像文件fsimage.chkpoint。
  7. 拷贝fsimage.chkpoint到NameNode。
  8. NameNode将fsimage.chkpoint重新命名成fsimage。

NN和2NN工作机制详解:

Fsimage:namenode内存中元数据序列化后形成的文件。

Edits:记录客户端更新元数据信息的每一步操作(可通过Edits运算出元数据)。

namenode启动时,先滚动edits并生成一个空的edits.inprogress,然后加载edits(归档后的)和fsimage(最新的)到内存中,此时namenode内存就持有最新的元数据信息。client开始对namenode发送元数据的增删改查的请求,这些请求的操作首先会被记录的edits.inprogress中(查询元数据的操作不会被记录在edits中,因为查询操作不会更改元数据信息),如果此时namenode挂掉,重启后会从edits中读取元数据的信息。然后,namenode会在内存中执行元数据的增删改查的操作。

由于edits中记录的操作会越来越多,edits文件会越来越大,导致namenode在启动加载edits时会很慢,所以需要对edits和fsimage进行合并(所谓合并,就是将edits和fsimage加载到内存中,照着edits中的操作一步步执行,最终形成新的fsimage)。secondarynamenode的作用就是帮助namenode进行edits和fsimage的合并工作。

secondarynamenode首先会询问namenode是否需要checkpoint(触发checkpoint需要满足两个条件中的任意一个,定时时间到和edits中数据写满了)。secondarynamenode执行checkpoint操作,首先会让namenode滚动edits并生成一个空的edits.inprogress,滚动edits的目的是给edits打个标记,以后所有新的操作都写入edits.inprogress,其他未合并的edits和fsimage会拷贝到secondarynamenode的本地,然后将拷贝的edits和fsimage加载到内存中进行合并,生成fsimage.chkpoint,然后将fsimage.chkpoint拷贝给namenode,重命名为fsimage后替换掉原来的fsimage。namenode在启动时就只需要加载之前未合并的edits和fsimage即可,因为合并过的edits中的元数据信息已经被记录在fsimage中。

5.2 checkpoint时间设置

1. 通常情况下,SecondaryNameNode每隔一小时执行一次。如果修改在hdfs-site中

默认值在[hdfs-default.xml]

        dfs.namenode.checkpoint.period

        3600

2. 一分钟检查一次操作次数,当操作次数达到1百万时,SecondaryNameNode执行一次。

        dfs.namenode.checkpoint.txns

        1000000

        操作动作次数

        dfs.namenode.checkpoint.check.period

        60

        1分钟检查一次操作次数

5.3 集群安全模式

1. 概述

NameNode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件和一个空的编辑日志。此时,NameNode开始监听DataNode请求。但是此刻,NameNode运行在安全模式,即NameNode的文件系统对于客户端来说是只读的。

系统中的数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode。在系统的正常操作期间,NameNode会在内存中保留所有块位置的映射信息。在安全模式下,各个DataNode会向NameNode发送最新的块列表信息,NameNode了解到足够多的块位置信息之后,即可高效运行文件系统。

如果满足“最小副本条件”,NameNode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别(默认值:dfs.replication.min=1)。在启动一个刚刚格式化的HDFS集群时,因为系统中还没有任何块,所以NameNode不会进入安全模式。

2. 基本语法

集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。

(1)bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态

(2)bin/hdfs dfsadmin -safemode enter   (功能描述:进入安全模式状态

(3)bin/hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态

(4)bin/hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态,监控安全模式

安全模式开启:

Hadoop生态圈(二):HDFS_第7张图片

 

3. 案例

模拟等待安全模式

(1)先进入安全模式

[root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode enter

(2)执行下面的脚本

编辑一个脚本

#!/bin/bash

bin/hdfs dfsadmin -safemode wait(安全模式关闭)

bin/hdfs dfs -put ~/hello.txt /root/hello.txt

(3)再打开一个窗口,执行

[root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode leave

6 NameNode工作机制

Hadoop生态圈(二):HDFS_第8张图片

 

  1. 一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。
  2. DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。
  3. 心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用。

你可能感兴趣的:(Hadoop)