Hadoop学习-HDFS
Hdoop之HDFS
什么是HDFS
背景及意义
-
背景
随着数据量的增加，一个操作系统存不下所有数据，就需要分配到更多的操作系统磁盘中，为了方便管理和维护，需要一种系统来管理多台机器上的文件，这就是分布式文件系统，HDFS只是分布式文件系统中的一种，其他的如：fastdfs 等
-
定义
HDFS 分布式文件系统，用来管理和存储文件的，由于是分布式的，是由多台服务器组成
-
特性
HDFS适合一次写入，多次读出的场景，不支持对文件的修改
优点
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bA1e7nz6-1656919344364)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ce7812e8fb7b45c28b8664c00b49422e~tplv-k3u1fbpfcp-zoom-1.image)]
缺点
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kk6gyKIs-1656919344366)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b0cfb1fc08214f35ab0c3b482867a83f~tplv-k3u1fbpfcp-zoom-1.image)]
组成架构
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3QAGmg50-1656919344368)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5303aa23722746c6bc10df54ad7ffa7c~tplv-k3u1fbpfcp-zoom-1.image)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jIDAQlO8-1656919344369)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b8d66e9a691040e28515bb7dcd59f6b1~tplv-k3u1fbpfcp-zoom-1.image)]
HDFS文件块大小
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VqwNjwaA-1656919344371)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/96549458f5064ebebea65b7531308bb0~tplv-k3u1fbpfcp-zoom-1.image)]
块大小影响因素
- 块设置太小会增加寻址时间，导致程序一直在寻找块的位置
- 块设置太大，数据传输时间会明显大于定位块位置时间，导致处理这个块数据的程序非常慢
总结： HDFS块大小设置取决于磁盘传输速率
HDFS命令操作
- 基本语法
hadoop fs 具体命令 OR /hdfs dfs 具体命令
-
命令大全
下面的命令和linux下命令基本一致，基本一看就能明白怎么使用，不过多解释
[tian@hadoop201 ~]$ hdfs dfs 个人习惯试用hdfs dfs 也可以试用 hadoop fs
Usage: hadoop fs [generic options]
[-appendToFile ... ] #加一个文件到已经存在的文件末尾
[-cat [-ignoreCrc] ...] #显示文件内容
[-checksum ...] #
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] PATH...] # 设置权限
[-chown [-R] [OWNER][:[GROUP]] PATH...] # 设置所有者权限
[-copyFromLocal [-f] [-p] [-l] ... ] # 从本地复制到hdfs
[-copyToLocal [-p] [-ignoreCrc] [-crc] ... ] # 从hdfs复制到本地
[-count [-q] [-h] ...] #
[-cp [-f] [-p | -p[topax]] ... ] #从HDFS的一个路径拷贝到HDFS的另一个路径
[-createSnapshot []] # 创建快照
[-deleteSnapshot ] # 删除快照
[-df [-h] [ ...]] # 查看hdfs存储
[-du [-s] [-h] ...] # 查看文件假大小
[-expunge]
[-find ... ...]
[-get [-p] [-ignoreCrc] [-crc] ... ] #等同于copyToLocal，就是从HDFS下载文件到本地
[-getfacl [-R] ]
[-getfattr [-R] {-n name | -d} [-e en] ]
[-getmerge [-nl] ] #合并下载多个文件，比如HDFS的目录 /user/test下有多个文件:log.1, log.2,log.3,...
[-help [cmd ...]] # 帮助命令
[-ls [-d] [-h] [-R] [ ...]] #查看文件夹下文件
[-mkdir [-p] ...] # 创建文件夹
[-moveFromLocal ... ] # 从本地移动到hdfs
[-moveToLocal ] # 从hdfs移动到本地
[-mv ... ] # 移动文件
[-put [-f] [-p] [-l] ... ] #等同于copyFromLocal
[-renameSnapshot ] #重命名快照
[-rm [-f] [-r|-R] [-skipTrash] ...] # 删除文件
[-rmdir [--ignore-fail-on-non-empty] ...] #删除文件夹
[-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set ]]
[-setfattr {-n name [-v value] | -x name} ]
[-setrep [-R] [-w] ...] #设置HDFS中文件的副本数量
[-stat [format] ...]
[-tail [-f] ] #显示一个文件的末尾
[-test -[defsz] ]
[-text [-ignoreCrc] ...]
[-touchz ...]
[-truncate [-w] ...] # 清空路径
[-usage [cmd ...]]
Generic options supported are
-conf specify an application configuration file
-D use value for given property
-fs specify a namenode
-jt specify a ResourceManager
-files specify comma separated files to be copied to the map reduce cluster
-libjars specify comma separated jar files to include in the classpath.
-archives specify comma separated archives to be unarchived on the compute machines.
The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]
HDFS API操作
上面介绍了如何使用命令操作hdfs，这部分是如何使用代码操作hdfs
环境搭建
-
解压hadoop-2.7.2 到一个非中文无空格的目录下（所有开发涉及到的软件或配置尽量使用非中文无空格）
我解压到
D:\softWare\devSoft\hadoop-2.7.2
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D5WQsd67-1656919344374)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d4d59d3a79d04bf4babaf540646603c9~tplv-k3u1fbpfcp-zoom-1.image)]
-
配置Hadoop环境变量
2.1新建HADOOP_HOME，路径为安装的文件夹 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gJXJjiez-1656919344376)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/88e2b4820f4d4a268c0c5ae80889d556~tplv-k3u1fbpfcp-zoom-1.image)]
2.2 配置Path环境变量
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GVxGMF4Z-1656919344378)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e7ab8046e8374784b7ebea474d94bd6f~tplv-k3u1fbpfcp-zoom-1.image)]
-
验证是否安装成功
打开CMD 执行hadoop version 能显示当前Hadoop版本即可
C:\Users\Tian>hadoop version
Hadoop 2.7.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41
Compiled by jenkins on 2016-01-26T00:08Z
Compiled with protoc 2.5.0
From source with checksum d0fda26633fa762bff87ec759ebe689c
This command was run using /D:/softWare/devSoft/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar
打开IDEA 使用maven创建hdfsClientDemo工程，并在MAVEN中导入相关依赖
<dependencies>
<dependency>
<groupId>junitgroupId>
<artifactId>junitartifactId>
<version>RELEASEversion>
dependency>
<dependency>
<groupId>org.apache.logging.log4jgroupId>
<artifactId>log4j-coreartifactId>
<version>2.8.2version>
dependency>
<dependency>
<groupId>org.apache.hadoopgroupId>
<artifactId>hadoop-commonartifactId>
<version>2.7.2version>
dependency>
<dependency>
<groupId>org.apache.hadoopgroupId>
<artifactId>hadoop-clientartifactId>
<version>2.7.2version>
dependency>
<dependency>
<groupId>org.apache.hadoopgroupId>
<artifactId>hadoop-hdfsartifactId>
<version>2.7.2version>
dependency>
<dependency>
<groupId>jdk.toolsgroupId>
<artifactId>jdk.toolsartifactId>
<version>1.8version>
<scope>systemscope>
<systemPath>${JAVA_HOME}/lib/tools.jarsystemPath>
dependency>
dependencies>
添加日志配置文件
在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入如下内容
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
创建包名和HdfsClient类
结构如下
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T7MjlbfO-1656919344380)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/62189a1af5f141cd8e7b2d27028e4b6f~tplv-k3u1fbpfcp-zoom-1.image)]
案例
HDFS文件上传
@Test
public void testMkdirs() throws IOException, InterruptedException, URISyntaxException {
// 1 获取文件系统
Configuration configuration = new Configuration();
// 配置在集群上运行
// configuration.set("fs.defaultFS", "hdfs://hadoop201:9000");
// FileSystem fs = FileSystem.get(configuration);
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");
// 2 创建目录
fs.mkdirs(new Path("/test/tian/hdfsDemo"));
// 3 关闭资源
fs.close();
}
可以通过HDFS命令行查看结果，也可以通过WEB端查看结果
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BOiLFFuB-1656919344381)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/80e9ac5fe7f4406bbc920389b3023d8c~tplv-k3u1fbpfcp-zoom-1.image)]
HDFS文件下载
/**
* HDFS文件下载
*/
@Test
public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{
// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");
// 2 执行下载操作
// boolean delSrc 指是否将原文件删除
// Path src 指要下载的文件路径
// Path dst 指将文件下载到的路径
// boolean useRawLocalFileSystem 是否开启文件校验
fs.copyToLocalFile(false, new Path("/word.txt"), new Path("d:/word.txt"), true);
// 3 关闭资源
fs.close();
}
HDFS文件夹删除
@Test
public void testDelete() throws IOException, InterruptedException, URISyntaxException{
// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");
// 2 执行删除
fs.delete(new Path("/test/tian/hdfsDemo"), true);
// 3 关闭资源
fs.close();
}
HDFS文件名修改
@Test
public void testRename() throws IOException, InterruptedException, URISyntaxException{
// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");
// 2 修改文件名称
fs.rename(new Path("/word.txt"), new Path("/word1.txt"));
// 3 关闭资源
fs.close();
}
HSFS文件详情查看
查看文件名称、权限、长度、块信息
@Test
public void testListFiles() throws IOException, InterruptedException, URISyntaxException{
// 1获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");
// 2 获取文件详情
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
while(listFiles.hasNext()){
LocatedFileStatus status = listFiles.next();
// 输出详情
// 文件名称
System.out.println(status.getPath().getName());
// 长度
System.out.println(status.getLen());
// 权限
System.out.println(status.getPermission());
// 分组
System.out.println(status.getGroup());
// 获取存储的块信息
BlockLocation[] blockLocations = status.getBlockLocations();
for (BlockLocation blockLocation : blockLocations) {
// 获取块存储的主机节点
String[] hosts = blockLocation.getHosts();
for (String host : hosts) {
System.out.println(host);
}
}
System.out.println("-----------分割线----------");
}
// 3 关闭资源
fs.close();
}
HDFS文件和文件夹判断
@Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException{
// 1 获取文件配置信息
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");
// 2 判断是文件还是文件夹
FileStatus[] listStatus = fs.listStatus(new Path("/"));
for (FileStatus fileStatus : listStatus) {
// 如果是文件
if (fileStatus.isFile()) {
System.out.println("f:"+fileStatus.getPath().getName());
}else {
System.out.println("d:"+fileStatus.getPath().getName());
}
}
// 3 关闭资源
fs.close();
}
HDFS流程
HDFS写数据流程
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7gVCuGhJ-1656919344383)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bf23587a573f48978e6541731fb77171~tplv-k3u1fbpfcp-zoom-1.image)]
1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
2）NameNode返回是否可以上传。
3）客户端请求第一个 Block上传到哪几个DataNode服务器上。
4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
6）dn1、dn2、dn3逐级应答客户端。
7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。
HDFS读数据流程
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kfpJdJZO-1656919344385)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0a215d8cd73940b8a3f1e90ee9c74659~tplv-k3u1fbpfcp-zoom-1.image)]
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。
机架感知
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mWDZt4wp-1656919344386)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2d66466cdb0449dcb696b143fb65ae2b~tplv-k3u1fbpfcp-zoom-1.image)]
NN和2NN
NameNode中的元数据是存储在哪里的？
新的框架或组件的诞生必然是解决某些问题的
如果存储在磁盘中，因为经常需要随机访问，因此效率很低，如果放在内存中，效率高了，一旦断电，元数据丢失，集群就无法工作了，因此产生在磁盘中备份元数据的FsImage。
新的问题来了，当在内存中更新元数据时，如果同步更新FSImage，那么效率也是很低的，如果不更新，会造成数据不一致，一旦断电，也会丢失数据，==因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。==这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。
但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。
NN和2NN工作机制
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5f6sPWkT-1656919344387)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/322f6943e9604dc6a84fd23a6dd7df24~tplv-k3u1fbpfcp-zoom-1.image)]
-
第一阶段：NameNode启动
（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode记录操作日志，更新滚动日志。
（4）NameNode在内存中对数据进行增删改。
-
第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
（2）Secondary NameNode请求执行CheckPoint。
（3）NameNode滚动正在写的Edits日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint到NameNode。
（8）NameNode将fsimage.chkpoint重新命名成fsimage。
NN和2NN工作机制详解：
Fsimage：NameNode内存中元数据序列化后形成的文件。
Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。
NameNode启动时，先滚动Edits并生成一个空的edits.inprogress，然后加载Edits和Fsimage到内存中，此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits.inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息），如果此时NameNode挂掉，重启后会从Edits中读取元数据的信息。然后，NameNode会在内存中执行元数据的增删改的操作。
由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。
SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作，首先会让NameNode滚动Edits并生成一个空的edits.inprogress，滚动Edits的目的是给Edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地，然后将拷贝的Edits和Fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给NameNode，重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。
Fsimage和Edits解析
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ibwNxhnP-1656919344389)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5e49a8998a18489f8fec17a09e3195a4~tplv-k3u1fbpfcp-zoom-1.image)]
可以看出，Fsimage中没有记录块所对应DataNode，为什么？
在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。
CheckPoint时间设置
-
SecondaryNameNode 默认每一个小时执行一次
[hdfs-default.xml]
<property> <name>dfs.namenode.checkpoint.periodname> <value>3600value> property> -
设置为一分钟检查一次操作次数，当操作次数达到一百万时，执行一次
<property> <name>dfs.namenode.checkpoint.txnsname> <value>1000000value> <description>操作动作次数description> property> <property> <name>dfs.namenode.checkpoint.check.periodname> <value>60value> <description> 1分钟检查一次操作次数description> property >
NameNode故障处理
NameNode故障后，可以采用如下两种方法恢复数据。
方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；
-
kill -9 NameNode进程
-
删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
- 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
scp -r tian@hadoop203:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/
- 重新启动NameNode
sbin/hadoop-daemon.sh start namenode
方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。
- 修改hdfs-site.xml中的
<property>
<name>dfs.namenode.checkpoint.periodname>
<value>120value>
property>
<property>
<name>dfs.namenode.name.dirname>
<value>/opt/module/hadoop-2.7.2/data/tmp/dfs/namevalue>
property>
-
kill -9 NameNode进程
-
删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
- 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件
[tian@hadoop201 dfs]$ scp -r tian@hadoop201:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./
[tian@hadoop201 namesecondary]$ rm -rf in_use.lock
[tian@hadoop201 dfs]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs
[tian@hadoop201 dfs]$ ls
data name namesecondary
- 导入检查点数据（等待一会ctrl+c结束掉）
bin/hdfs namenode -importCheckpoint
- 启动NameNode
sbin/hadoop-daemon.sh start namenode
集群安全模式
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JHqvD9ng-1656919344390)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/06c60817967c4f29aed534fee53d7e78~tplv-k3u1fbpfcp-zoom-1.image)]
基本语法
集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。
（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）
（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）
（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）
（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）
NameNode多目录设置
NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性
-
在hdfs-site.xml文件中增加如下内容
<property> <name>dfs.namenode.name.dirname> <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2value> property> -
停止集群，删除data和logs中所有数据。
[tian@hadoop201 hadoop-2.7.2]$ rm -rf data/ logs/ [tian@hadoop202 hadoop-2.7.2]$ rm -rf data/ logs/ [tian@hadoop203 hadoop-2.7.2]$ rm -rf data/ logs/ -
格式化集群并启动。
[tian@hadoop201 hadoop-2.7.2]$ bin/hdfs namenode –format [tian@hadoop201 hadoop-2.7.2]$ sbin/start-dfs.sh -
查看结果
[tian@hadoop201 dfs]$ ll 总用量 12 drwx------. 3 tian tian 4096 12月 11 08:03 data drwxrwxr-x. 3 tian tian 4096 12月 11 08:03 name1 drwxrwxr-x. 3 tian tian 4096 12月 11 08:03 name2
DataNode
工作机制
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RkOTexkv-1656919344392)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bf0143502aa64c1894ed8ee3d9669db6~tplv-k3u1fbpfcp-zoom-1.image)]
1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。
3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
4）集群运行中可以安全加入和退出一些机器。
数据完整性
思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？同理DataNode节点上的数据损坏了，却没有发现，是否也很危险，那么如何解决呢？
如下是DataNode节点保证数据完整性的方法。
1）当DataNode读取Block的时候，它会计算CheckSum。
2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。
3）Client读取其他DataNode上的Block。
4）DataNode在其文件创建后周期验证CheckSum
掉线时限参数设置
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EBRKpTUw-1656919344393)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2168e12700bd4107916362bca115c7e0~tplv-k3u1fbpfcp-zoom-1.image)]
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。
<property>
<name>dfs.namenode.heartbeat.recheck-intervalname>
<value>300000value>
property>
<property>
<name>dfs.heartbeat.intervalname>
<value>3value>
property>
服役新节点
背景是公司业务增长，数据量越来越大，原来的节点容量不够了，需要在原有集群基础上动态增加新的数据节点
-
准备新服务器，取名为Hadoop204
-
配置Hadoop204和其他DataNode节点一致
注意要无密登录,hosts文件和hostname，关闭防火墙
-
如果要被群起命令管理需要配置slave，增加新的节点hostname
-
删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log）
-
source一下配置文件
source /etc/profile -
直接在新机器上单机启动DataNode
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager
- 如果数据不均衡，可以用命令实现集群的再平衡
./start-balancer.sh
退役旧节点
黑名单退役
在黑名单上面的主机都会被强制退出。
-
在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件
hadoop204 # 添加要退役的节点名称 -
在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性
<property> <name>dfs.hosts.excludename> <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.excludevalue> property> -
刷新NameNode、刷新ResourceManager
hdfs dfsadmin -refreshNodes # 刷新namenode节点 yarn rmadmin -refreshNodes # 刷新ResourceManager -
检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点
-
等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TDYz7Fqx-1656919344395)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/29bdcc60e8da414ea6beb5cfa173e37c~tplv-k3u1fbpfcp-zoom-1.image)]
-
如果数据不均衡，可以用命令实现集群的再平衡
start-balancer.sh
注意：不允许白名单和黑名单中同时出现同一个主机名称。
白名单退役
退役如下节点
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KYXbaeu6-1656919344396)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/45443185f3b74cb69c9168ef26a739d7~tplv-k3u1fbpfcp-zoom-1.image)]
-
在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
-
添加如下主机名称（不添加hadoop204）
hadoop201 hadoop202 hadoop203 -
在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property> <name>dfs.hostsname> <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hostsvalue> property> -
配置文件分发
xsync hdfs-site.xml -
刷新NameNode 更新ResourceManager节点
hdfs dfsadmin -refreshNodes # 刷新namenode节点 yarn rmadmin -refreshNodes # 刷新ResourceManager -
在web浏览器上查看,直接退役掉
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TAF835jG-1656919344397)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/df3038df9b254cb4953182d0aa6f349e~tplv-k3u1fbpfcp-zoom-1.image)]
Datanode多目录配置
DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本
-
修改hdfs-site.xml
<property> <name>dfs.datanode.data.dirname> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2value> property> -
分发配置文件
xsync hdfs-site.xml -
刷新
hdfs dfsadmin -refreshNodes # 刷新namenode节点 yarn rmadmin -refreshNodes # 刷新ResourceManager -
查看目录
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NZ6kEO7V-1656919344398)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/24da4d21b93b4763917254e652b8fe7e~tplv-k3u1fbpfcp-zoom-1.image)]