大数据知识(五)：Hadoop基础HDFS详解

HDFS前言

    设计的的思想：主要的是分而治之，将大的文件分割称为一个个小的文件，存储在各个机器上。

    在大数据中的应用：为大数据框架提供储存数据的服务

    重点概念：文件分块、副本存放、元数据。

HDFS的概念和特性

    首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。

    其次，它是分布式的，很多服务器联合实现功能。

重要的特性：

   （1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

    (2) HDFS文件系统提供一个目录树，类似于一般操作系统的文件系统。

    (3）目录结构以及元数据信息交给namenode存储。namenode是HDFS集群的主节点，负责维护目录结构和每一个文件的对应的block信息(block块的id，存储在哪一个datanode)

    (4) 文件的各个block块存储在datanode中，每一个block都可以在多个dataNode存储，这里面包括每一个block块的副本。

    (5)HDFS适合一次写入，多次读取的场景。

HDFS Shell命令的操作

HDFS命令客户端使用

HDFS命令行参数

[-appendToFile ... ]         [-cat [-ignoreCrc] ...]         [-checksum ...]         [-chgrp [-R] GROUP PATH...]         [-chmod [-R] PATH...]         [-chown [-R] [OWNER][:[GROUP]] PATH...]         [-copyFromLocal [-f] [-p] ... ]         [-copyToLocal [-p] [-ignoreCrc] [-crc] ... ]         [-count [-q] ...]         [-cp [-f] [-p] ... ]         [-createSnapshot []]         [-deleteSnapshot ]         [-df [-h] [ ...]]         [-du [-s] [-h] ...]         [-expunge]         [-get [-p] [-ignoreCrc] [-crc] ... ]         [-getfacl [-R] ]         [-getmerge [-nl] ]         [-help [cmd ...]]         [-ls [-d] [-h] [-R] [ ...]]         [-mkdir [-p] ...]         [-moveFromLocal ... ]         [-moveToLocal ]         [-mv ... ]         [-put [-f] [-p] ... ]         [-renameSnapshot ]         [-rm [-f] [-r|-R] [-skipTrash] ...]         [-rmdir [--ignore-fail-on-non-empty] ...]         [-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set ]]         [-setrep [-R] [-w] ...]         [-stat [format] ...]         [-tail [-f] ]         [-test -[defsz] ]         [-text [-ignoreCrc] ...]         [-touchz ...]         [-usage [cmd ...]]

HDFS参数解读

-help              功能：输出这个命令参数手册

-ls                   功能：显示目录信息 示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hadoop fs -ls /   等同于上一条命令的效果

-mkdir               功能：在hdfs上创建目录 示例：hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd

-moveFromLocal             功能：从本地剪切粘贴到hdfs 示例：hadoop  fs  - moveFromLocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd -moveToLocal               功能：从hdfs剪切粘贴到本地 示例：hadoop  fs  - moveToLocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt

--appendToFile   功能：追加一个文件到已经存在的文件末尾 示例：hadoop  fs  -appendToFile  ./hello.txt  hdfs://hadoop-server01:9000/hello.txt 可以简写为： Hadoop  fs  -appendToFile  ./hello.txt  /hello.txt

-cat   功能：显示文件内容  示例：hadoop fs -cat  /hello.txt   -tail                  功能：显示一个文件的末尾 示例：hadoop  fs  -tail  /weblog/access_log.1 -text                   功能：以字符形式打印一个文件的内容 示例：hadoop  fs  -text  /weblog/access_log.1

-chgrp  -chmod -chown 功能：linux文件系统中的用法一样，对文件所属权限 示例： hadoop  fs  -chmod  666  /hello.txt hadoop  fs  -chown  someuser:somegrp   /hello.txt

-copyFromLocal     功能：从本地文件系统中拷贝文件到hdfs路径去 示例：hadoop  fs  -copyFromLocal  ./jdk.tar.gz  /aaa/ -copyToLocal       功能：从hdfs拷贝到本地 示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz

-cp               功能：从hdfs的一个路径拷贝hdfs的另一个路径 示例： hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2   -mv                      功能：在hdfs目录中移动文件 示例： hadoop  fs  -mv  /aaa/jdk.tar.gz  /

-get               功能：等同于copyToLocal，就是从hdfs下载文件到本地 示例：hadoop fs -get  /aaa/jdk.tar.gz -getmerge              功能：合并下载多个文件 示例：比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,... hadoop fs -getmerge /aaa/log.* ./log.sum

-put                 功能：等同于copyFromLocal 示例：hadoop  fs  -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

-rm                 功能：删除文件或文件夹 示例：hadoop fs -rm -r /aaa/bbb/   -rmdir                  功能：删除空目录 示例：hadoop  fs  -rmdir   /aaa/bbb/ccc

-df                功能：统计文件系统的可用空间信息 示例：hadoop  fs  -df  -h  /   -du  功能：统计文件夹的大小信息 示例： hadoop  fs  -du  -s  -h /aaa/*

-count          功能：统计一个指定目录下的文件节点数量 示例：hadoop fs -count /aaa/

-setrep                 功能：设置hdfs中文件的副本数量 示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz

HDFS原理

HDFS的工作机制

概述

    HDFS的三大角色：nameNode、dataNote、secondary NameNode

    NameNode负责元数据的管理

    DataNode负责管理用户数据块

    文件会按照固定的大小(block size)分为若干个block存储在datanode上

    每一个文件块有多个副本，存储在不同的dataNode中

    DataNode会定期向NameNode汇报自己保存的block信息，NameNode负责管理这些元数据信息

HDFS写数据流程

具体的流程如下

    

   流程描述如下：

    1.客户端请求上传文件，namenode根据客户端请求的路径检查该路径是否存在，如果不存在，直接报错；否则，确认可以上传。

    2.客户端请求上传第一个block块，namenode根据存储的元数据信息，根据就近原则，返回datanode的信息，客户端发出socket请求。

    3.datanode响应请求，两者建立连接，datanode1和datanode2建立pipeline来复制副本数据，注意，这里也是就近原则

    4.客户端使用socket发送数据，发送的数据是一个pocket，大小是64kB，当然这里需要使用校验数据，datanode1也是通过pipeline复制副本。

    5.循环上述步骤，直到数据发送完成，断开连接。

HDFS读数据流程

    

具体的流程：

    1.客户端请求某一个文件，namenode检验请求路径，如果路径错误，抛出异常；否则，namenode根据存储的元数据信息返回保存有该数据的datanode

    2.客户端根据namenode返回的datanode数据信息依照就近原则访问dataNode，建立socket流。

    3.datanode发送数据，按照pocket大小发送数据。

    4.客户端按照pocket为单位接受，进行本地缓存。

NameNode工作机制

NameNode职责

    负责客户端的请求

    管理元数据信息

元数据管理

    3种数据管理形式：

        1.内存元数据

        2.磁盘元数据镜像文件

        3.数据操作日志文件

元数据存储机制

    1.内存中有一份内存元数据(metadata )

    2.磁盘中有一个元数据镜像文件(fsImage)

    3.用于衔接内存文件以及持久化文件之间的日志操作文件。

元数据手动查看

  的一个工具来查看edits中的信息

bin/hdfs oev -i edits -o edits.xml

  bin/hdfs oiv -i fsimage_0000000000000000087 -p XML -o fsimage.xml

元数据的checkpoint

   每过一段时间，secondary namenode会从namenode下载操作日志文件edits和最新的fsimage下载到本地，加载到内存进行merge,这个过程称为checkpoint。

具体的流程如下：

    1.当需要checkpoint后，namenode会将这个正在操作的edits文件回滚成一个新的edits。

    2.secondary namenode将edits文件和fsimage文件下载到本地，注意只有第一次时，才会下载fsimage文件然后将这些文件加载到内存中，进行日志回放，形成新的数据，最后序列化fsimage。

    3.secondary namenode将新的fsimage上传到namenode上。

CheckPoint触发条件配置  

dfs.namenode.checkpoint.check.period=60  #检查触发条件是否满足的频率，60秒 dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary #以上两个参数做checkpoint操作时，secondary namenode的本地工作目录 dfs.namenode.checkpoint.edits.dir=${dfs.namenode.checkpoint.dir}   dfs.namenode.checkpoint.max-retries=3  #最大重试次数 dfs.namenode.checkpoint.period=3600  #两次checkpoint之间的时间间隔3600秒 dfs.namenode.checkpoint.txns=1000000 #两次checkpoint之间最大的操作记录

checkpoint的附带作用

       namenode和secondary namenode的工作目录存储结构完全相同，所以，当namenode故障退出需要重新恢复时，可以从secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录，以恢复namenode的元数据。

元数据目录

在第一次部署好Hadoop集群的时候，我们需要在NameNode（NN）节点上格式化磁盘：

$HADOOP_HOME/bin/hdfs namenode -format

格式化完成之后，将会在$dfs.namenode.name.dir/current目录下如下的文件结构

current/ |-- VERSION |-- edits_* |-- fsimage_0000000000008547077 |-- fsimage_0000000000008547077.md5 `-- seen_txid

其中的dfs.name.dir是在hdfs-site.xml文件中配置的，默认值如下：

dfs.name.dir   file://${hadoop.tmp.dir}/dfs/name   hadoop.tmp.dir是在core-site.xml中配置的，默认值如下   hadoop.tmp.dir   /tmp/hadoop-${user.name}   A base for other temporary directories.

 

dfs.namenode.name.dir属性可以配置多个目录，

如/data1/dfs/name,/data2/dfs/name,/data3/dfs/name,....。各个目录存储的文件结构和内容都完全一样，相当于备份，这样做的好处是当其中一个目录损坏了，也不会影响到Hadoop的元数据，特别是当其中一个目录是NFS（网络文件系统Network File System，NFS）之上，即使你这台机器损坏了，元数据也得到保存。
下面对$dfs.namenode.name.dir/current/目录下的文件进行解释。
1、VERSION文件是Java属性文件，内容大致如下：

#Fri Nov 15 19:47:46 CST 2013 namespaceID=934548976 clusterID=CID-cdff7d73-93cd-4783-9399-0a22e6dce196 cTime=0 storageType=NAME_NODE blockpoolID=BP-893790215-192.168.24.72-1383809616115 layoutVersion=-47

 

 

其中
　　（1）、namespaceID是文件系统的唯一标识符，在文件系统首次格式化之后生成的；
　　（2）、storageType说明这个文件存储的是什么进程的数据结构信息（如果是DataNode，storageType=DATA_NODE）；
　　（3）、cTime表示NameNode存储时间的创建时间，由于我的NameNode没有更新过，所以这里的记录值为0，以后对NameNode升级之后，cTime将会记录更新时间戳；
　　（4）、layoutVersion表示HDFS永久性数据结构的版本信息，只要数据结构变更，版本号也要递减，此时的HDFS也需要升级，否则磁盘仍旧是使用旧版本的数据结构，这会导致新版本的NameNode无法使用；
　　（5）、clusterID是系统生成或手动指定的集群ID，在-clusterid选项中可以使用它；如下说明

 

a、使用如下命令格式化一个Namenode：

$HADOOP_HOME/bin/hdfs namenode -format [-clusterId ]

选择一个唯一的cluster_id，并且这个cluster_id不能与环境中其他集群有冲突。如果没有提供cluster_id，则会自动生成一个唯一的ClusterID。

b、使用如下命令格式化其他Namenode：

 $HADOOP_HOME/bin/hdfs namenode -format -clusterId

c、升级集群至最新版本。在升级过程中需要提供一个ClusterID，例如：

$HADOOP_PREFIX_HOME/bin/hdfs start namenode --config $HADOOP_CONF_DIR  -upgrade -clusterId

如果没有提供ClusterID，则会自动生成一个ClusterID。

(6）、blockpoolID：是针对每一个Namespace所对应的blockpool的ID，上面的这个BP-893790215-192.168.24.72-1383809616115就是在我的ns1的namespace下的存储块池的ID，这个ID包括了其对应的NameNode节点的ip地址。
　　
2、$dfs.namenode.name.dir/current/seen_txid非常重要，是存放transactionId的文件，format之后是0，它代表的是namenode里面的edits_*文件的尾数，namenode重启的时候，会按照seen_txid的数字，循序从头跑edits_0000001~到seen_txid的数字。所以当你的hdfs发生异常重启的时候，一定要比对seen_txid内的数字是不是你edits最后的尾数，不然会发生建置namenode时metaData的资料有缺少，导致误删Datanode上多余Block的资讯。

 

3、$dfs.namenode.name.dir/current目录下在format的同时也会生成fsimage和edits文件，及其对应的md5校验文件。

补充：seen_txid 

文件中记录的是edits滚动的序号，每次重启namenode时，namenode就知道要将哪些edits进行加载edits

HDFS Java客户端操作

Pom.xml文件配置

1、引入依赖

org.apache.hadoop     hadoop-client     2.6.1

注：如需手动引入jar包，hdfs的jar包----hadoop的安装目录的share下

2、window下开发的说明

建议在linux下进行hadoop应用的开发，不会存在兼容性问题。如在window上做客户端应用开发，需要设置以下环境：

A、在windows的某个目录下解压一个hadoop的安装包

B、将安装包下的lib和bin目录用对应windows版本平台编译的本地库替换

C、在window系统中配置HADOOP_HOME指向你解压的安装包

D、在windows系统的path变量中加入hadoop的bin目录

Java API 操作

public class HdfsClient {

	FileSystem fs = null;

	@Before
	public void init() throws Exception {

		// 构造一个配置参数对象，设置一个参数：我们要访问的hdfs的URI
		// 从而FileSystem.get()方法就知道应该是去构造一个访问hdfs文件系统的客户端，以及hdfs的访问地址
		// new Configuration();的时候，它就会去加载jar包中的hdfs-default.xml
		// 然后再加载classpath下的hdfs-site.xml
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://hdp-node01:9000");
		/**
		 * 参数优先级： 1、客户端代码中设置的值 2、classpath下的用户自定义配置文件 3、然后是服务器的默认配置
		 */
		conf.set("dfs.replication", "3");

		// 获取一个hdfs的访问客户端，根据参数，这个实例应该是DistributedFileSystem的实例
		// fs = FileSystem.get(conf);

		// 如果这样去获取，那conf里面就可以不要配"fs.defaultFS"参数，而且，这个客户端的身份标识已经是hadoop用户
		fs = FileSystem.get(new URI("hdfs://hdp-node01:9000"), conf, "hadoop");

	}

	/**
	 * 往hdfs上传文件
	 * 
	 * @throws Exception
	 */
	@Test
	public void testAddFileToHdfs() throws Exception {

		// 要上传的文件所在的本地路径
		Path src = new Path("g:/redis-recommend.zip");
		// 要上传到hdfs的目标路径
		Path dst = new Path("/aaa");
		fs.copyFromLocalFile(src, dst);
		fs.close();
	}

	/**
	 * 从hdfs中复制文件到本地文件系统
	 * 
	 * @throws IOException
	 * @throws IllegalArgumentException
	 */
	@Test
	public void testDownloadFileToLocal() throws IllegalArgumentException, IOException {
		fs.copyToLocalFile(new Path("/jdk-7u65-linux-i586.tar.gz"), new Path("d:/"));
		fs.close();
	}

	@Test
	public void testMkdirAndDeleteAndRename() throws IllegalArgumentException, IOException {

		// 创建目录
		fs.mkdirs(new Path("/a1/b1/c1"));

		// 删除文件夹 ，如果是非空文件夹，参数2必须给值true
		fs.delete(new Path("/aaa"), true);

		// 重命名文件或文件夹
		fs.rename(new Path("/a1"), new Path("/a2"));

	}

	/**
	 * 查看目录信息，只显示文件
	 * 
	 * @throws IOException
	 * @throws IllegalArgumentException
	 * @throws FileNotFoundException
	 */
	@Test
	public void testListFiles() throws FileNotFoundException, IllegalArgumentException, IOException {

		// 思考：为什么返回迭代器，而不是List之类的容器
		RemoteIterator listFiles = fs.listFiles(new Path("/"), true);

		while (listFiles.hasNext()) {
			LocatedFileStatus fileStatus = listFiles.next();
			System.out.println(fileStatus.getPath().getName());
			System.out.println(fileStatus.getBlockSize());
			System.out.println(fileStatus.getPermission());
			System.out.println(fileStatus.getLen());
			BlockLocation[] blockLocations = fileStatus.getBlockLocations();
			for (BlockLocation bl : blockLocations) {
				System.out.println("block-length:" + bl.getLength() + "--" + "block-offset:" + bl.getOffset());
				String[] hosts = bl.getHosts();
				for (String host : hosts) {
					System.out.println(host);
				}
			}
			System.out.println("--------------为angelababy打印的分割线--------------");
		}
	}

	/**
	 * 查看文件及文件夹信息
	 * 
	 * @throws IOException
	 * @throws IllegalArgumentException
	 * @throws FileNotFoundException
	 */
	@Test
	public void testListAll() throws FileNotFoundException, IllegalArgumentException, IOException {

		FileStatus[] listStatus = fs.listStatus(new Path("/"));

		String flag = "d--             ";
		for (FileStatus fstatus : listStatus) {
			if (fstatus.isFile())  flag = "f--         ";
			System.out.println(flag + fstatus.getPath().getName());
		}
	}
}