Linux文件系统（ext3/4）的一些经验分享

一、文件系统介绍：

   （1）、Ext2: 是 GNU/Linux 系统中标准的文件系统，其特点为存取文件的性能极好，对于中小型的文件更显示出优势，这主要得利于其簇快取层的优良设计。其单一文件大小与文件系统本身的容量上限与文件系统本身的簇大小有关，在一般常见的 x86 电脑系统中，簇最大为 4KB, 则单一文件大小上限为 2048GB, 而文件系统的容量上限为 16384GB。但由于目前核心 2.4 所能使用的单一分割区最大只有 2048GB，因此实际上能使用的文件系统容量最多也只有 2048GB。

　　（2）、Ext3: 顾名思义，它就是 ext2 的下一代，也就是在保有目前 ext2 的格式之下再加上日志功能。目前它离实用阶段还有一段距离，也许在下一版的核心就可以上路了。 ext3是一种日志式文件系统。日志式文件系统的优越性在于：由于文件系统都有快取层参与运作，如不使用时必须将文件系统卸下，以便将快取层的资料写回磁盘中。因此每当系统要关机时，必须将其所有的文件系统全部卸下后才能进行关机。
　　如果在文件系统尚未卸下前就关机 (如停电) 时，下次重开机后会造成文件系统的资料不一致，故这时必须做文件系统的重整工作，将不一致与错误的地方修复。然而，此一重整的工作是相当耗时的，特别是容量大的文件系统，而且也不能百分之百保证所有的资料都不会流失。故这在大型的伺服器上可能会造成问题。
　　为了克服此问题，业界经长久的开发，而完成了所谓‘日志式文件系统 (Journal File System) ’。此类文件系统最大的特色是，它会将整个磁盘的写入动作完整记录在磁盘的某个区域上，以便有需要时可以回朔追踪。由于资料的写入动作包含许多的细节，像是改变文件标头资料、搜寻磁盘可写入空间、一个个写入资料区段等等，每一个细节进行到一半若被中断，就会造成文件系统的不一致，因而需要重整。然而，在日志式文件系统中，由于详细纪录了每个细节，故当在某个过程中被中断时，系统可以根据这些记录直接回朔并重整被中断的部分，而不必花时间去检查其他的部分，故重整的工作速度相当快，几乎不需要花时间。

　　另外Linux中还有一种专门用于交换分区的swap文件系统，Linux使用整个分区来作为交换空间，而不象Windows使用交换文件。一般这个SWAP格式的交换分区是主内存的2倍。

   （3）、Ext4: Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版，修改了 Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能：

二、Linux ext2/ext3/ext4文件系统详解

    （1）、Linux ext2/ext3文件系统使用索引节点来记录文件信息，作用像windows的文件分配表。索引节点是一个结构，它包含了一个文件的长度、创建及修改时间、权限、所属关系、磁盘中的位置等信息。一个文件系统维护了一个索引节点的数组，每个文件或目录都与索引节点数组中的唯一一个元素对应。系统给每个索引节点分配了一个号码，也就是该节点在数组中的索引号，称为索引节点号。 linux文件系统将文件索引节点号和文件名同时保存在目录中。所以，目录只是将文件的名称和它的索引节点号结合在一起的一张表，目录中每一对文件名称和索引节点号称为一个连接。对于一个文件来说有唯一的索引节点号与之对应，对于一个索引节点号，却可以有多个文件名与之对应。因此，在磁盘上的同一个文件可以通过不同的路径去访问它。


Linux缺省情况下使用的文件系统为Ext2，ext2文件系统的确高效稳定。但是，随着Linux系统在关键业务中的应用，Linux文件系统的弱点也渐渐显露出来了:其中系统缺省使用的ext2文件系统是非日志文件系统。这在关键行业的应用是一个致命的弱点。本文向各位介绍Linux下使用ext3日志文件系统应用。
Ext3文件系统是直接从Ext2文件系统发展而来，目前ext3文件系统已经非常稳定可靠。它完全兼容ext2文件系统。用户可以平滑地过渡到一个日志功能健全的文件系统中来。这实际上了也是ext3日志文件系统初始设计的初衷。

   （2）、Ext3日志文件系统的特点：
1、高可用性
系统使用了ext3文件系统后，即使在非正常关机后，系统也不需要检查文件系统。宕机发生后，恢复ext3文件系统的时间只要数十秒钟。
2、数据的完整性:
ext3文件系统能够极大地提高文件系统的完整性，避免了意外宕机对文件系统的破坏。在保证数据完整性方面，ext3文件系统有2种模式可供选择。其中之一就是“同时保持文件系统及数据的一致性”模式。采用这种方式，你永远不再会看到由于非正常关机而存储在磁盘上的垃圾文件。
3、文件系统的速度:
尽管使用ext3文件系统时，有时在存储数据时可能要多次写数据，但是，从总体上看来，ext3比ext2的性能还要好一些。这是因为ext3的日志功能对磁盘的驱动器读写头进行了优化。所以，文件系统的读写性能较之Ext2文件系统并来说，性能并没有降低。
4、数据转换
由ext2文件系统转换成ext3文件系统非常容易，只要简单地键入两条命令即可完成整个转换过程，用户不用花时间备份、恢复、格式化分区等。用一个ext3文件系统提供的小工具tune2fs，它可以将ext2文件系统轻松转换为 ext3日志文件系统。另外，ext3文件系统可以不经任何更改，而直接加载成为ext2文件系统。
5、多种日志模式
Ext3有多种日志模式，一种工作模式是对所有的文件数据及metadata（定义文件系统中数据的数据,即数据的数据）进行日志记录（data=journal模式）；另一种工作模式则是只对metadata记录日志，而不对数据进行日志记录，也即所谓data=ordered或者data=writeback模式。系统管理人员可以根据系统的实际工作要求，在系统的工作速度与文件数据的一致性之间作出选择。

（3）、Ext4日志文件系统的特点：

       1. 与 Ext3 兼容。执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留，Ext4 作用于新数据，当然，整个文件系统因此也就获得了 Ext4 所支持的更大容量。
       2. 更大的文件系统和更大的文件。较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件，Ext4 分别支持 1EB（1,048,576TB， 1EB=1024PB， 1PB=1024TB）的文件系统，以及 16TB 的文件。
       3. 无限数量的子目录。Ext3 目前只支持 32,000 个子目录，而 Ext4 支持无限数量的子目录。
       4. Extents。Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在 Ext3 中要建立 25,600 个数据块（每个数据块大小为 4KB）的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念，每个 extent 为一组连续的数据块，上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”，提高了不少效率。
       5. 多块分配。当写入数据到 Ext3 文件系统中时，Ext3 的数据块分配器每次只能分配一个 4KB 的块，写一个 100MB 文件就要调用 25,600 次数据块分配器，而 Ext4 的多块分配器“multiblock allocator”（mballoc） 支持一次调用分配多个数据块。
       6. 延迟分配。Ext3 的数据块分配策略是尽快分配，而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在 cache 中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。
       7. 快速 fsck。以前执行 fsck 第一步就会很慢，因为它要检查所有的 inode，现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表，今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。
       8. 日志校验。日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏，而且它将 Ext3 的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。
       9. “无日志”（No Journaling）模式。日志总归有一些开销，Ext4 允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。
       10. 在线碎片整理。尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4 支持在线碎片整理，并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。
       11. inode 相关特性。Ext4 支持更大的 inode，较之 Ext3 默认的 inode 大小 128 字节，Ext4 为了在 inode 中容纳更多的扩展属性（如纳秒时间戳或 inode 版本），默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性（fast extended attributes）和 inode 保留（inodes reservation）。
       12. 持久预分配（Persistent preallocation）。P2P 软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4 在文件系统层面实现了持久预分配并提供相应的 API（libc 中的 posix_fallocate()），比应用软件自己实现更有效率。

       13. 默认启用 barrier。磁盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录，若 commit 记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4 默认启用 barrier，只有当 barrier 之前的数据全部写入磁盘，才能写 barrier 之后的数据。（可通过 "mount -o barrier=0" 命令禁用该特性。）

三、实例解析：

1、实际使用Ext3文件系统
创建新的ext3文件系统，例如要把磁盘上的hda8分区格式化ext3文件系统，并将日志记录在/dev/hda1分区，那么操作过程如下：

1. [root@stationxx root]# mke2fs -j /dev/hda8
   

2. mke2fs 1.24a (02-Sep-2001)
   

3. Filesystem label=
   

4. OS type: Linux
   

5. Block size=1024 (log=0)
   

6. .. .. ..
   

7. Creating journal (8192 blocks): done
   

8. Writing superblocks and filesystem accounting information: done
   

9. This filesystem will be automatically checked every 30 mounts or
   

10. 180 days, whichever comes first. Use tune2fs -c or -i to override.

复制代码

在创建新的文件系统时，可以看到，ext3文件系统执行自动检测的时间为180天或每第31次被mount时，实际上这个参数可以根据需要随意调节。
以下将新的文件系统mount到主分区/data目录下：
[root@stionxx root]# mount -t ext3 /dev/hda8 /data
说明：以上将已格式化为ext3文件系统的/dev/hda8分区加载到/data目录下。
ext3 基于ext2 的代码，它的磁盘格式和 ext2 的相同；这意味着，一个干净卸装的 ext3 文件系统可以作为 ext2 文件系统重新挂装。Ext3文件系统仍然能被加载成ext2文件系统来使用，你可以把一个文件系统在ext3和ext2自由切换。
这时在ext2文件系统上的ext3日志文件仍然存在,只是ext2不能认出日志而已。


2、将ext2文件系统转换为ext3文件系统
将linux系统的文件系统由ext2转至ext3，有以下几处优点：第一系统的可用性增强了，第二数据集成度提高，第三启动速度提高了，第四ext2与ext3文件系统之间相互转换容易。
以转换文件系统为例，将ext2文件系统转换为ext3文件系统，命令如下：

1. [root@stationxx root]# tune2fs -j /dev/hda9
   

2. tune2fs 1.24a (02-Sep-2001)
   

3. Creating journal inode: done
   

4. This filesystem will be automatically checked every 31 mounts or
   

5. 180 days, whichever comes first. Use tune2fs -c or -i to override.

复制代码

这样，原来的ext2文件系统就转换成了ext3文件系统。注意将ext2文件系统转换为ext3文件系统时，不必要将分区�载下来转换。
转换完成后，不要忘记将/etc/fstab文件中所对应分区的文件系统由原来的ext2更改为ext3。

3、ext3日志的存放位置
可以将日志放置在另外一个存储设备上，例如存放到分区/dev/hda8。例如要在/dev/hda8上创建一个ext3文件系统，并将日志存放在外部设备/dev/hda2上，则运行以下命令：

1. [root @stationxx root]#mke2fs -J device=/dev/hda8 /dev/hda2

复制代码

4、ext3文件系统修复
新的e2fsprogs中的e2fsck支持ext3文件系统。当一个ext3文件系统被破坏时,先卸载该设备,再用e2fsck修复：

1. [root @stationxx root] # umount /dev/hda8
   

2. [root @stationxx root] #e2fsck -fy /dev/hda8

复制代码

总而言之，ext3日志文件系统是目前linux系统由ext2文件系统过度到日志文件系统最为简单的一种选择，实现方式也最为简洁。由于是直接从ext2文件系统发展而来，系统由ext2文件系统过渡到ext3日志文件系统升级过程平滑，可以最大限度地保证系统数据的安全性。目前linux系统要使用日志文件系统，最保险的方式就是选择ext3文件系统。

5、将ext3文件系统转换为ext4文件系统

如何从 ext3 升级到 ext4？首先需要确保 Linux kernel 是支持 ext4 的，其次要注意 /boot 分区最好使用 ext3，因为现在系统上的 grub 很可能不支持 ext4，需要有这个 commit 的特别版本 grub 才能支持 ext4. 用下面的命令转换：

　　# cd /; umount /dev/sda1
　　# tune2fs -O extents,uninit_bg,dir_index /dev/sda1
　　记住，转换成 ext4 后必须用 fsck 扫描，否则不能 mount，-p 参数说明 “自动修复” 文件系统：
　　# fsck -pf /dev/sda1
　　挂载 ext4 文件系统：
　　# mount -t ext4 /dev/sda1 /path/to/

四、问题解答：

1.测试目的：touch一个新的空文件占用磁盘空间吗? 占用的话占用多少?

  创建一个空文件，消耗掉了一个inode。那么inode的节点大小是多少呢,使用dumpe2fs命令可以帮助我们查看到这个东东的实际大小。它告诉我们每个inode的大小是128Byte（ext3),256Byte（ext4)。当然这个大小每台机器都会不一样,它实际上是在系统格式化磁盘的时候决定的。

2.测试目的：新建一个空目录占用磁盘空间吗?占用多少?

   原来目录也是会占用一个inode节点的,新建一个空目录会占用磁盘空间4KB + inode size。 哦,这个在你的系统上也不一定是4K,它实际上一个block size。同样在dumpe2fs下可以看到。

3. 测试目的：ext3文件系统下filename最大字符长度
  测试平台：RHEL5U3_x64
  测试过程：
LENTH=`for i in {1..255};do for x in a;do echo -n $x;done;done`
touch $LENTH
当增加到256时，touch报错，File name too long
linux系统下ext3文件系统内给文件/目录命名，最长只能支持127个中文字符，英文则可以支持255个字符

4. 测试目的：ext3文件系统下一级子目录的个数限制
  测试平台：RHEL5U3_x64
  测试过程：
[root@fileserver maxdir]# for i in {1..32000};do mkdir $i;done
mkdir: cannot create directory `31999': Too many links
mkdir: cannot create directory `32000': Too many links
ext3文件系统一级子目录的个数为31998(个)。
Linux为了cpu的搜索效率而规定的,要想改变数目大概要重新编译内核.

5. 测试目的：ext3文件系统下目录1个block可以存放多少目录项

  测试平台：RHEL5U3_x64
  测试过程：

[root@fileserver maxdir]# for i in {1..339};do mkdir $i;done

[root@fileserver maxdir]# ll -d

drwxr-xr-x. 2 root root 4096 Jan  2 15:12 .

[root@fileserver maxdir]# mkdir 340

[root@fileserver maxdir]# ll -d

drwxr-xr-x. 2 root root 12288 Jan  2 15:12 .

说明：

   这是资料截图。inode 指i_node节点编号，rec_len指离下个目录项的偏移，后面的看看也知道的吧。由于name不定长，所以需要name_lens。所以一个目录项至少12字节。一个目录块4096字节，可以放多少目录项呢。答案是2+339 =341 。2指 . 和 .. 两个目录项 ， 339 为自己创建的文件的目录项。通过测试也证明了我的猜测。你如果创建340个文件，那目录块就会立马变大到12kb。（为什么不是8kb，有谁知道？）。
   事实上，你删除目录里的文件把目录项删除后，空余的盘块是不会回收的。也就是说，目录的大小只增不减。

6. 测试目的：ext3文件系统下单个目录里的最大文件数
  测试平台: RHEL5U3_x64
  测试过程：
  单个目录下的最大文件数似乎没什么特别限制，也是受限于所在文件系统的inode数限制：
  df -i或者使用tune2fs -l /dev/sdaX或者dumpe2fs -h /dev/sdaX查看可用inode数，后两个命令
  输出结果是一样的，但是跟df所得出的可用inode数会有些误差，至今不明白什么原因。

  网上常用两种解决办法：
  1） 重新mkfs，ext3默认block大小4096 Bytes，block设置小一些inode数设置大一些
  2） 使用loopback文件系统临时解决：
      在/usr中（也可以在别处）创建一个大文件，然后做成loopback文件系统，将原来的文件移到这个
      文件系统中，并将它mount到/usr下合适的位置。这样可以大大减少你/usr中的文件数目。但是系统
      性能会有点损失。

7. 测试目的： 打开文件数限制（文件句柄、文件描述符）
  测试平台： RHEL5U3_x64
  ulimit -n 65535设置，或者/etc/security/limit.conf里设置用户打开文件数、进程数、CPU等