centos 6下apache kudu安装报错Error during hole punch test问题解决

【环境】

centos 6.8、6.9版本，x86 64位

CDH版本CDH-5.13.3-1.cdh5.13.3.p0.2

kudu版本1.5.0

 

【过程和报错】

通过cloudera manager界面，在一个tablet server节点安装tablet server时，启动后报错如下：

Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
F0829 10:45:48.332460 19820 tablet_server_main.cc:80] Check failed: _s.ok() Bad status: IO error: Could not create new FS layout: Unable to create directory manager: Error during hole punch test. The log block manager requires a filesystem with hole punching support such as ext4 or xfs. On el6, kernel version 2.6.32-358 or newer is required. To run without hole punching (at the cost of some efficiency and scalability), reconfigure Kudu with --block_manager=file. Refer to the Kudu documentation for more details. Raw error message follows: Unexpected pre-punch file size for /apps2/data/kudu/tablet_server/data_dir/data/hole_punch_test_file: expected 16384 but got 0

 

【问题解决】

1. apache官网解决办法：https://kudu.apache.org/docs/troubleshooting.html

但是考虑到线上会大规模使用kudu集群，不开启hole punching功能（该功能仅在ext4和xfs下可用）的话会造成性能下降，文件fd占用过多等一系列问题，所以要解决该问题。

2. 通过对比线上已有可用的ext4分区vdb1和这块要装上的ext4分区vdc1发现，后者和前者虽然都是ext4文件系统，但是缺少了一个重要的Filesystem features：extent

3.通过如下命令增加该feature后解决：

#lsof |grep "vdc1挂载点"             (如果有对应进程占用fd，则停掉对应进程或kill掉)

#umount vdc1挂载点

#tune2fs -O extent /dev/vdc1       

如果提示错误：tune2fs: File exists while trying to create journal file则

执行chattr -i /.journal && rm -fr /.journal或

e2fsck -f -y /dev/vdc1将已有的journal file清除掉并修复

#mount -a将vdc1作为ext4重新挂载上去

#tune2fs -l /dev/vdc1  看到Filesystem features部分有了extent即可。

4.启动tablet server即可。

 

【附录：相关原理说明】

一、ext4和ext3对比：

ext4相比ext3有如下新特性：

Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版，修改了 Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能：

1. 与 Ext3 兼容。 执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留，Ext4 作用于新数据，当然，整个文件系统因此也就获得了 Ext4 所支持的更大容量。

2. 更大的文件系统和更大的文件。 较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件，Ext4 分别支持 1EB（1,048,576TB， 1EB=1024PB， 1PB=1024TB）的文件系统，以及 16TB 的文件。

3. 无限数量的子目录。 Ext3 目前只支持 32,000 个子目录，而 Ext4 支持无限数量的子目录。

4. Extents。 Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在 Ext3 中要建立 25,600 个数据块（每个数据块大小为 4KB）的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念，类似RDBMS中区的概念，每个 extent 为一组连续的数据块，提高了不少效率。

5. 多块分配。 当 写入数据到 Ext3 文件系统中时，Ext3 的数据块分配器每次只能分配一个 4KB 的块，写一个 100MB 文件就要调用 25,600 次数据块分配器，而 Ext4 的多块分配器“multiblock allocator”（mballoc） 支持一次调用分配多个数据块。

6. 延迟分配。 Ext3 的数据块分配策略是尽快分配，而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在 cache 中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。

7. 快速 fsck。 以前执行 fsck 第一步就会很慢，因为它要检查所有的 inode，现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表，今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。

8. 日志校验。 日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏，而且它将 Ext3 的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。

9. “无日志”（No Journaling）模式。 日志总归有一些开销，Ext4 允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。

10. 在线碎片整理。 尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4 支持在线碎片整理，并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。

11. inode 相关特性。 Ext4 支持更大的 inode，较之 Ext3 默认的 inode 大小 128 字节，Ext4 为了在 inode 中容纳更多的扩展属性（如纳秒时间戳或 inode 版本），默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性（fast extended attributes）和 inode 保留（inodes reservation）。

12. 持久预分配（Persistent preallocation）。 P2P 软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4 在文件系统层面实现了持久预分配并提供相应的 API（libc 中的 posix_fallocate()），比应用软件自己实现更有效率。

13. 默认启用 barrier。 磁 盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录（类似WAL），若 commit 记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4 默认启用 barrier，只有当 barrier 之前的数据全部写入磁盘，才能写 barrier 之后的数据。（可通过 "mount -o barrier=0" 命令禁用该特性。）

14.flex_bg。Flexible Block Groups (flex_bg)，“弹性块组”，是EXT4文件系统引入的一个feature。所谓Flexible Block Groups，就是将连续的多个物理block groups绑在一起组成一个逻辑块组，这个逻辑块组就称之为Flex_group(也就是flex_bg)。

Ext4将其全部集中起来，至少有两个好处：

(1)减少了磁盘寻道操作：将频繁访问的block group资源放到有磁盘上一块连续区域

(2)可以一次性分配更多block给一个extent/run：以前的group将磁盘空间划分为众多不连续的空间片段，从而导致一个分配请求最大能只申请到一个group所管理的blocks。以最常用的4K BLOCK_SIZE来说，一个group最多能管理4K*8=32K个block（128M），但除去group本身的metadata (bitmap blocks: 2  inodes table: (32768 * 128  + 4095)/4096 = 1024)，还能剩下31742个block空闲，如果此group包含spare_super，还要减去super_block所占用的一个block。

 

二、ext4和XFS对比：

XFS与ext4相比有如下新特性：

（1）根据所记录的日志在很短的时间内迅速恢复磁盘文件内容 
（2）采用优化算法，日志记录对整体文件操作影响非常小 
（3） 是一个全64-bit的文件系统，它可以支持上百万T字节的存储空间 
（4）能以接近裸设备I/O的性能存储数据