Hadoop笔记——HDFS运维详解
官方文档
https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
文章目录
-
- 官方文档
- 一、HDFS概述
- 二、HDFS组成
- 三、HDFS的Shell命令
- 四、HDFS客户端操作
- 五、HDFS数据流读写流程
- 六、SecondaryNameNode工作机制
- 七、DataNode工作机制
- 八、HDFS集群安全模式
- 九、HDFS的HA高可用
一、HDFS概述
HDFS是分布式文件系统中的一种，通过目录树定位文件。
- 适用场景：一次写入、多次读出、不支持修改、适用于数据分析。
- 优点：高容错性、存储数据规模大、可使用廉价机器。
- 缺点：不适合低延时数据访问、不适合大量小文件的存储、不支持并发写入、仅支持数据追加，不支持随机修改
二、HDFS组成
NameNode：文件系统的主管、管理命名空间、副本策略、数据块映射信息、客户端读写请求。DataNode：存储数据库、执行NameNode下达的读/写操作。Secondary NameNode：辅助NameNode，定期合并镜像文件(Fsimage)和编辑日志(Edits)，在NameNode出错后，可使用2NN恢复。Client：即客户端
三、HDFS的Shell命令
在Linux本地，执行Shell命令操作HDFS文件系统，实现对HDFS文件系统的管理，以及本地与HDFS文件系统之间的上传下载操作。
- 基本语法：
进入Hadoop软件安装目录（也可配置环境变量），执行：
$ bin/hadoop fs 具体命令或者$ bin/hdfs dfs 具体命令 - 常用命令参数：
| 命令参数 | 作用 |
|---|---|
| -help： | 查看帮助 |
| -ls: | 显示目录信息 |
| -mkdir： | 在HDFS上创建目录 |
| -moveFromLocal： | 从本地剪切粘贴到HDFS |
| -appendToFile： | 追加一个文件到已经存在的文件末尾 |
| -cat： | 显示文件内容 |
| -chgrp 、-chmod、-chown： | 与Linux文件系统中的用法一样，修改文件所属权限 |
| -put、-copyFromLocal： | 从本地文件系统中拷贝文件到HDFS路径去 |
| -copyToLocal： | 从HDFS拷贝到本地 |
| -cp ： | 从HDFS的一个路径拷贝到HDFS的另一个路径 |
| -mv： | 在HDFS目录中移动文件 |
| -get： | 等同于copyToLocal，就是从HDFS下载文件到本地 |
| -getmerge： | 合并下载多个文件 |
| -tail： | 显示一个文件的末尾 |
| -rm： | 删除文件或文件夹 |
| -rmdir： | 删除空目录 |
| -du: | 统计文件夹的大小信息 |
| -setrep: | 设置HDFS中某个文件的副本数量 |
四、HDFS客户端操作
在Linux本地可以使用前面的Shell命令操作HDFS系统，但是这种方法不适用于所有情况，例如我要在其他主机上通过Java程序操作HDFS文件系统实现上传下载等操作。
Hadoop提供了相应的API接口方便对HDFS进行连接。步骤包括：
- 安装Hadoop并配置环境变量。（如果在Windows下，则需要Windows下编译的Hadoop）
- 创建Maven工程并导入对应的Hadoop依赖。
- 编写Java程序连接HDFS，得到FileSystem对象。
- 调用相应的方法对HDFS进行操作。
在pom.xml导入依赖：
<dependencies>
<dependency>
<groupId>junitgroupId>
<artifactId>junitartifactId>
<version>RELEASEversion>
dependency>
<dependency>
<groupId>org.apache.logging.log4jgroupId>
<artifactId>log4j-coreartifactId>
<version>2.8.2version>
dependency>
<dependency>
<groupId>org.apache.hadoopgroupId>
<artifactId>hadoop-commonartifactId>
<version>2.7.2version>
dependency>
<dependency>
<groupId>org.apache.hadoopgroupId>
<artifactId>hadoop-clientartifactId>
<version>2.7.2version>
dependency>
<dependency>
<groupId>org.apache.hadoopgroupId>
<artifactId>hadoop-hdfsartifactId>
<version>2.7.2version>
dependency>
<dependency>
<groupId>jdk.toolsgroupId>
<artifactId>jdk.toolsartifactId>
<version>1.8version>
<scope>systemscope>
<systemPath>${JAVA_HOME}/lib/tools.jarsystemPath>
dependency>
dependencies>
在HDFS上创建目录的案例：
public class HdfsClient{
@Test
public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException{
// 1 获取文件系统
Configuration configuration = new Configuration();
// 配置在集群上运行
// configuration.set("fs.defaultFS", "hdfs://hadoop101:9000");
// FileSystem fs = FileSystem.get(configuration);
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop101:9000"), configuration, "Bessen");
// 2 创建目录
fs.mkdirs(new Path("/testAPI/mkdirs"));
// 3 关闭资源
fs.close();
}
}
五、HDFS数据流读写流程
写数据：
- 客户端向NameNode请求写入，得到响应。
- 客户端请求上传第一个块，NameNode根据距离和DataNode负载情况选择上传节点，并告诉客户端。
- 客户端向待上传的节点请求建立传输通道，各节点依次响应。
- 客户端向通道第一个节点上传数据，各节点依次将内存中的数据向通道其他节点传输。
- 传输完毕后，各节点将内存中的数据序列化到磁盘。
读数据：
六、SecondaryNameNode工作机制
为了保证效率，NameNode保存的元数据需要放在内存中，同时在磁盘中保存备份的元数据到镜像文件Fsimage。由于新的元数据无法及时写入到Fsimage，所以NameNode将元数据的增删改操作暂时保存到编辑日志文件Edits中。
合并编辑日志Edits和镜像文件Fsimage占用的内存较大，为了避免影响NameNode，因此将合并工作交给了SecondaryNameNode，2NN会定期或在Edits数据过多时进行CheckPoint工作，具体流程如下图所示。
CheckPoint时间间隔设置：
- hdfs-default.xml（该文件在Hadoop一个jar包下）
<!-- SecondaryNameNode每隔一小时执行一次checkpoint -->
dfs.namenode.checkpoint.period</name>
3600</value>
</property>
NameNode故障处理：
将SecondaryNameNode中数据拷贝到NameNode存储数据的目录。
- kill -9 NameNode进程
- 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
- 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
$ scp -r Bessen@hadoop03:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* /opt/module/hadoop-2.7.2/data/tmp/dfs/name/
- 重新启动NameNode
$ sbin/hadoop-daemon.sh start namenode
七、DataNode工作机制
DataNode节点的注册机制和心跳机制如下图所示：
- 通常会使用crc等校验方法保证存储数据的完整性
- DataNode与NameNode通过心跳保持长连接，但一个节点掉线时长超过超时时长，则判断节点死亡。超时时长
TimeOut = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval，两个参数设置如下： - etc/hadoop/hdfs-site.xml
<!-- 单位毫秒 -->
dfs.namenode.heartbeat.recheck-interval</name>
300000</value>
</property>
<!-- 单位秒 -->
dfs.heartbeat.interval</name>
3</value>
</property>
节点的服役与退役
（1）服役新节点。
- 首先确保新节点的Hadoop版本及配置文件与集群其他主机一致。
- 如果新主机克隆自其他节点，需修改主机名、ip地址并删除data和log数据。
- 在NameNode的白名单
etc/hadoop/dfs.hosts添加新节点（文件需自己创建）。 - 如果未配置过白名单，需修改NameNode的配置文件并分发：
- etc/hadoop/hdfs-site.xml
<!-- 白名单文件位置 -->
dfs.hosts</name>
/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>
然后分别刷新NameNode和ResourceManager节点：
$ hdfs dfsadmin -refreshNodes
$ yarn rmadmin -refreshNodes
- 使用单节点启动的方式启动节点：
$ sbin/hadoop-daemon.sh start datanode
$ sbin/yarn-daemon.sh stop nodemanager
注意： 如果希望新节点能够通过群起集群的方式启动，还需配置集群的分发脚本和slaves文件。
（2）退役旧节点
退役节点只需将该节点加入黑名单即可，黑名单权限高于白名单，黑名单上的节点会被强制退出。
如果未配置过黑名单，需在NameNode创建文件etc/hadoop/dfs.hosts.exclude，然后修改NameNode的配置文件并分发：
- etc/hadoop/hdfs-site.xml
<!-- 黑名单文件位置 -->
dfs.hosts.exclude</name>
/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>
最后分别刷新NameNode和ResourceManager节点。
八、HDFS集群安全模式
NameNode启动时，集群进入安全模式，NameNode进行元数据的准备并从DataNode获取块信息，此时不能进行文件的上传下载操作。当满足“最小副本条件”时，集群在30秒后退出安全模式。
安全模式相关命令行指令：
- 查看安全模式状态：
bin/hdfs dfsadmin -safemode get - 进入安全模式状态：
bin/hdfs dfsadmin -safemode enter - 离开安全模式状态：
bin/hdfs dfsadmin -safemode leave - 等待状态，类似Thread.sleep()：
bin/hdfs dfsadmin -safemode wait
九、HDFS的HA高可用
NameNode存在单点故障（SPOF）的问题，Hadoop2.0开始有了HA(high available).
Hadoop给HA提供了两种实现方式，具体搭建过程见官网：Quorum Journal Manager,QJM和NFS
HA的原理就是配置多个NameNode，一个Active活跃运行，其他Standby作为备用，Standby随时通过JournalNode（一个集群，至少三台主机，采用半数选择协议）上的Edits文件管理系统向Active同步元数据。
每个NameNode都在ZooKeeper中维护了一个持久会话，如果Active机器崩溃，ZooKeeper中的会话终止，ZooKeeper会选择另一个NameNode触发故障转移。ZooKeeper集群会选择一个Standby作为新的活跃NameNode，首先通过SSH向原来的NameNode发送kill命令补刀，补刀成功后将被选中的Standby切换为Active.（扶持傀儡政权）
故障转移的机制如下图所示：
