Hadoop 中的大数据技术：调优篇（3）

HDFS—故障排除

NameNode 故障处理

• 需求

  NameNode 进程崩溃且存储的数据丢失，如何恢复 NameNode？

• 故障模拟

  终止 NameNode 进程

  [lzl@hadoop12 current]$ kill -9 19886
  

  删除 NameNode 存储的数据

  [lzl@hadoop12 hadoop-3.1.3]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/*
  

• 问题解决

  从 SecondaryNameNode 复制数据至 NameNode

  [lzl@hadoop12 dfs]$ scp -r lzl@hadoop14:/opt/module/hadoop-3.1.3/data/dfs/namesecondary/* ./name/
  

  重启 NameNode

  [lzl@hadoop12 hadoop-3.1.3]$ hdfs --daemon start namenode
  

  向集群上传文件

集群安全模式 & 磁盘修复

• 安全模式

  文件系统仅接受读取请求，不接受删除或修改等更改请求。

• 进入安全模式的场景

  • NameNode 加载镜像文件和编辑日志期间处于安全模式。
  • NameNode 接收 DataNode 注册时处于安全模式。

• 退出安全模式的条件

  • dfs.namenode.safemode.min.datanodes: 最小可用 DataNode 数量，默认为 0。
  • dfs.namenode.safemode.threshold-pct: 副本数达到最小要求的 block 占系统总 block 数的百分比，默认为 0.999f。
  • dfs.namenode.safemode.extension: 稳定时间，默认值 30000 毫秒，即 30 秒。

• 基本语法

  bin/hdfs dfsadmin -safemode get	# 查看安全模式状态
  bin/hdfs dfsadmin -safemode enter # 进入安全模式状态
  bin/hdfs dfsadmin -safemode leave	# 离开安全模式状态
  bin/hdfs dfsadmin -safemode wait	# 等待安全模式状态
  

• 案例 1：启动集群进入安全模式

  重启集群

  [lzl@hadoop12 subdir0]$ myhadoop.sh stop
  [lzl@hadoop12 subdir0]$ myhadoop.sh start
  

  尝试删除数据，提示集群处于安全模式

• 案例 2：磁盘修复

  需求：

  数据块损坏，进入安全模式，如何处理？

  步骤:

  删除特定块信息

  [lzl@hadoop12 subdir0]$ rm -rf blk_1073741847 blk_1073741847_1023.meta
  [lzl@hadoop12 subdir0]$ rm -rf blk_1073741865 blk_1073741865_1042.meta
  

  注意：hadoop13/hadoop14 上重复执行以上命令。

  重启集群

  [lzl@hadoop12 subdir0]$ myhadoop.sh stop
  [lzl@hadoop12 subdir0]$ myhadoop.sh start
  

  观察状态

  访问 http://hadoop12:9870/dfshealth.html#tab-overview

  离开安全模式

  [lzl@hadoop12 subdir0]$ hdfs dfsadmin -safemode get
  Safe mode is ON
  [lzl@hadoop12 subdir0]$ hdfs dfsadmin -safemode leave
  Safe mode is OFF
  

  再次观察状态

  再次访问 http://hadoop12:9870/dfshealth.html#tab-overview

  1. 删除元数据
  2. 再次观察状态

  再次访问 http://hadoop12:9870/dfshealth.html#tab-overview，集群已恢复正常。

• 案例 3：模拟等待安全模式

  查看当前模式

  [lzl@hadoop12 hadoop-3.1.3]$ hdfs dfsadmin -safemode get
  Safe mode is OFF
  

  进入安全模式

  [lzl@hadoop12 hadoop-3.1.3]$ bin/hdfs dfsadmin -safemode enter
  

  创建并执行脚本/opt/module/hadoop-3.1.3路径上编辑脚本safemode.sh

  [lzl@hadoop12 hadoop-3.1.3]$ vim safemode.sh
  #!/bin/bash
  hdfs dfsadmin -safemode wait
  hdfs dfs -put /opt/module/hadoop-3.1.3/README.txt /
  [lzl@hadoop12 hadoop-3.1.3]$ chmod 777 safemode.sh
  [lzl@hadoop12 hadoop-3.1.3]$ ./safemode.sh
  

  离开安全模式

  [lzl@hadoop12 hadoop-3.1.3]$ bin/hdfs dfsadmin -safemode leave
  

  观察结果

  Safe mode is OFF
  

  确认数据上传

慢磁盘监控

• 慢磁盘定义

  • “慢磁盘”指的是写入数据非常缓慢的磁盘。这类磁盘在长时间运行和高负载任务下容易出现。

• 发现慢磁盘的方法

  通过心跳未联系时间

  • 当出现慢磁盘时，可能影响 DataNode 与 NameNode 之间的正常心跳（正常心跳间隔通常为 3 秒）。

  使用 fio 命令测试磁盘读写性能

  [lzl@hadoop12 ~]# sudo yum install -y fio
  

  顺序读测试

  [lzl@hadoop12 ~]# sudo fio -filename=/home/lzl/test.log -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r
  

  结果显示，磁盘的总体顺序读速度为 360MiB/s。

  顺序写测试

  [lzl@hadoop12 ~]# sudo fio -filename=/home/lzl/test.log -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_w
  

  结果显示，磁盘的总体顺序写速度为 341MiB/s。

  随机写测试

  [lzl@hadoop12 ~]# sudo fio -filename=/home/lzl/test.log -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_randw
  

  结果显示，磁盘的总体随机写速度为 309MiB/s。

  混合随机读写测试

  [lzl@hadoop12 ~]# sudo fio -filename=/home/lzl/test.log -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r_w -ioscheduler=noop
  

  结果显示，磁盘的总体混合随机读速度为 220MiB/s，写速度为 94.6MiB/s。

小文件归档

HDFS 存储小文件的弊端

• 存储小文件会导致 NameNode 内存消耗过多，因为每个文件都需要按块存储，而每个块的元数据都存储在 NameNode 的内存中。尽管如此，小文件所需的磁盘空间取决于其实际大小而非块大小。

• 解决方案

  使用 HDFS 存档文件（HAR 文件）来更高效地归档小文件，减少 NameNode 内存使用的同时保持文件的透明访问。

• 案例实操

  启动 YARN 进程

  [lzl@hadoop12 hadoop-3.1.3]$ start-yarn.sh
  

  归档文件

  [lzl@hadoop12 hadoop-3.1.3]$ hadoop archive -archiveName input.har -p  /input   /output
  

  查看归档

  [lzl@hadoop12 hadoop-3.1.3]$ hadoop fs -ls /output/input.har
  [lzl@hadoop12 hadoop-3.1.3]$ hadoop fs -ls har:///output/input.har
  

  解归档文件

  [lzl@hadoop12 hadoop-3.1.3]$ hadoop fs -cp har:///output/input.har/*    /