Linux磁盘与文件系统管理

一 ：认识EXT2文件系统

1 ext2简介

Linux最传统的磁盘文件系统使用的是EXT2，所以要了解文件系统就要由EXT2开始，文件系统是建立在硬盘上的，因此需要了解硬盘的物理组成才行

1 磁盘的物理组成：

1 圆形的磁盘盘（主要记录数据的部分）
2 机械手臂，与在机械手臂上的磁盘读取头（可擦写磁盘盘上的数据）
3 主轴马达，可以转动磁盘盘，让机械手臂的读取在磁盘盘上读写数据‘’

2 扇区

扇区（sector）为最小的物理存储单元，每个扇区为512bytes;
将扇区组成一个圆，那就是磁柱（cylinder），磁柱是分割槽的最小单位
第一个扇区最重要，里面有：（1）主要开机区（master boot record,MBR）及分割表（partitiontable），其中MBR占有446bytes，而partition table 占有64 bytes

3 磁盘接口

各种接口的磁盘在Linux中文件并分别为：
/dev/sd[a-p][1-15]:为SCSI，STAT，USB,flash 随身碟等接口的磁盘文件名
/dev/hd[a-d][1-63]：为IDE接口的磁盘文件名

磁盘分区的意义是指定分隔槽的起始与结束磁柱

4 分割槽

指定分隔槽的磁柱范围是记录在第一个扇区的分割表中，但是因为分割表仅有64bytes，因此最多只能记录四笔分割槽的记录，这四笔记录我们称为主要（primary）或延伸（extend）分割槽，其中延伸分隔槽还可以再分割出逻辑分割槽（logical），而能被格式化的仅有主分区与逻辑分区而已。

主要分割与延伸分割最多可以有四笔（磁盘的限制）
延伸分割最多只能有一个（操作系统的限制）
逻辑分割是由延伸分割持续切割出来的分隔槽
能够被格式化后，作为数据存取的分隔槽为主要分割与逻辑分割，延伸分区无法格式化
逻辑分割的数据以操作系统的不同而定，在Linux系统中，IDE硬盘最多有59个逻辑分割（5号到63号），SATA硬盘则有11个逻辑分割（5号到15号）

二 文件系统特性

我们都知道磁盘分区完毕还需要进行格式化（format），之后操作系统才能够使用这个分隔槽，

1 格式化的作用：

因为每种操作系统所设定的文件属性/权限并不相同，为了存放这些档案所需的数据，因此就需要将分隔槽进行格式化，已成为操作系统能够利用的。

2 不同操作系统的文件系统格式

每种操作系统能够使用的文件系统并不相同，
Windows 98 以前的微软软件主要利用的文件系统是FAT（或FAT16），Windows 2000 以后的版本有所谓的NTFS文件系统，至于Linux的正统文件系统则为EXT2 默认情况下Windows不会识别ext2

传统的磁盘与文件系统的应用中，一个分割槽就是只能被格式化成为一个文件系统，所以一个filesystem就是一个partition，但是由于新技术的利用，LVM可以将一个分隔槽格式化称多个文件系统，也能够将多个分隔槽合并成一个文件系统（LVM,RAID）

3 文件系统数据的组成

文件系统通常会将文件属性放置到iNode中，至于实际的数据，则放置在data block 区块中，另外，还有一个超级区块（superblock）会记录整个文件系统的整体信息，包括iNode 与 block的总量，使用量，剩余量等

superblock：记录此filesystem 的整体信息，包括iNode/block的总量，使用量，剩余量，以及文件系统的格式与相关的信息等
iNode：记录档案的属性，一个档案占用一个iNode，同时记录此档案的数据所在的block号码
block：实际记录档案的内容，若档案太大时，则会占用多个block

通过iNode来记录block位置的方式成为索引式文件系统（indexed allocation），
FAT这种格式的文件系统没有iNode存在，他需要一个一个的将block读出后，才会知道下一个block的位置

碎片整理就是因为block写的太过松散，通过碎片整理可将其回证在一起，比较容易读取数据。

ext2 文件系统格式化的时候基本上是区分多个区块群组（block group）的，每个区块群组都有独立的iNode/block/superblock系统

在整体的规划中，文件系统最前面有一个启动扇区（boot sector），这个启动扇区可以安装开机管理程序，如此一来我们就能够将不同的开机管理程序安装到个别的文件系统的最前端，而不用覆盖整颗硬盘唯一的MBR，这样也能制作出多重引导环境。

4 区块群组（block group）

六个主要内容说明：
1 data block（资料区块）
data block 是用来放置档案内容数据的地方，在ext2文件系统中所支持的block 有1K,2K以及4K 三种，在格式化时BLOCK 的大小就固定了，而且每个block都有编号，以方便iNode的记录，不过由于block大小的差异，容易导致文件系统能够支持的最大磁盘容量与最大单一档案容量不相同，

ext 2 文件系统的block还有以下的限制：
1 原则上，block的大小与数量在格式化就不能够再改变了
2 每个block内最多只能放置一个档案的数据
3 如果档案很小，则剩余的block就会被浪费

5 iNode table（iNode 表格）

1 iNode包含的内容

1 该档案的存取模式（read、write、excute）
2 该档案的拥有者和群组（owner、group）
3 该档案的容量
4 该档案建立或状态改变的时间（ctime）
5 最近一次的读取时间（aime）
6 最近一次修改的时间（Mtime）
7 当以当前特性的旗标
8 该档案真正的内容指向（pointer）

2 iNode 特点

1 每个iNode代销均为固定128bytes
2 每个档案都仅会占用一个iNode而已
3 系统读取时需要先找到iNode，并分析iNode所积累的权限与用户是否符合，若符合才能够实际读取block的内容

iNode 要记录的数据多，但是其只有128bytes，而一个block就要花掉4bytes，我们将iNode记录block号码的区域定义为12个直接，一个间接，一个双间接，与一个三间接记录区

6 superblock (超级区块)

超级区块是记录整个filesystem相关信息的地方，没有superblock，就没有这个文件系统、

1 超级快主要记录：

1 block 与 iNode的总量
2 未使用与已使用的iNode/block数量
3 block 与 iNode的大小
filesystem的挂载时间，最近一次写入数据的时间，最近一一次检验磁盘（fsck）的时间等文件系统的相关信息
一个valid bit 数值，若此文件系统已被挂载，则valid bit为0，若未被挂载，则valid bit为1

一般的superblock大小为1024bytes

此外，每一block group 都可能含有superblock，后面说的可能没有superblock，或是复制前面的

4 filesystem description（文件系统描述说明）
这个区段描述每个block group 的开始于结束的block号码，以及说明每个区段分别结余哪一个block号码之间

5 block bitmap（区块对照表）
其可以知道哪些block是空的，以便写入新的数据

6 iNode bitmap （iNode 对照表）

每个区段的信息可以使用吧dumple2fs来查询（其必须是ext3模式文件系统）

2 dumple2fs 参数：

-b:列出保留为坏轨的部分
-h：仅列出superblock 的数据，不会列出其他区段的内容
[root@server ~]# dumpe2fs /dev/sdc1
dumpe2fs 1.42.9 (28-Dec-2013)
Filesystem volume name: 这个事文件系统的名称
Last mounted on:
Filesystem UUID: 3d8acbe7-2e4b-4d74-a0d3-b1cbbf4d879e
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal ext_attr resize_inode dir_index filetype sparse_super
Filesystem flags: signed_directory_hash
Default mount options: user_xattr acl 预设的挂载参数
Filesystem state: clean 这个文件系统是没有问题的
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 25688 iNode 的总数
Block count: 102400 block 的总数
Reserved block count: 5120 还有多少个block可用
Free blocks: 93487 还有多少个iNode可用
Free inodes: 25677
First block: 1
Block size: 1024 每个block的大小
Fragment size: 1024
Reserved GDT blocks: 256
Blocks per group: 8192
Fragments per group: 8192
Inodes per group: 1976
Inode blocks per group: 247
Filesystem created: Tue Dec 19 11:30:27 2017
Last mount time: n/a
Last write time: Tue Dec 19 11:30:27 2017
Mount count: 0
Maximum mount count: -1
Last checked: Tue Dec 19 11:30:27 2017
Check interval: 0 ()
Reserved blocks uid: 0 (user root)
Reserved blocks gid: 0 (group root)
First inode: 11
Inode size: 128 每个iNode的大小
Journal inode: 8
Default directory hash: half_md4
Directory Hash Seed: 32fabc23-4618-4a87-a4bb-2c287fa8ba64
Journal backup: inode blocks
Journal features: (none)
日志大小: 4113k
Journal length: 4096
Journal sequence: 0x00000001
Journal start: 0

Group 0: (Blocks 1-8192) 第一个data group 内容，包括block的启动/结束号码
主 superblock at 1, Group descriptors at 2-2 超级区块在1 号block
保留的GDT块位于 3-258
Block bitmap at 259 (+258), Inode bitmap at 260 (+259)
Inode表位于 261-507 (+260)
7671 free blocks, 1965 free inodes, 2 directories
可用块数: 522-8192
可用inode数: 12-1976
Group 1: (Blocks 8193-16384)
备份 superblock at 8193, Group descriptors at 8194-8194
保留的GDT块位于 8195-8450
Block bitmap at 8451 (+258), Inode bitmap at 8452 (+259)
Inode表位于 8453-8699 (+260)
7685 free blocks, 1976 free inodes, 0 directories
可用块数: 8700-16384
可用inode数: 1977-3952
Group 2: (Blocks 16385-24576)
Block bitmap at 16385 (+0), Inode bitmap at 16386 (+1)
Inode表位于 16387-16633 (+2)
7943 free blocks, 1976 free inodes, 0 directories
可用块数: 16634-24576
可用inode数: 3953-5928
Group 3: (Blocks 24577-32768)
备份 superblock at 24577, Group descriptors at 24578-24578
保留的GDT块位于 24579-24834
Block bitmap at 24835 (+258), Inode bitmap at 24836 (+259)
Inode表位于 24837-25083 (+260)
7685 free blocks, 1976 free inodes, 0 directories
可用块数: 25084-32768
可用inode数: 5929-7904
Group 4: (Blocks 32769-40960)
Block bitmap at 32769 (+0), Inode bitmap at 32770 (+1)
Inode表位于 32771-33017 (+2)
7943 free blocks, 1976 free inodes, 0 directories
可用块数: 33018-40960
可用inode数: 7905-9880
Group 5: (Blocks 40961-49152)
备份 superblock at 40961, Group descriptors at 40962-40962
保留的GDT块位于 40963-41218
Block bitmap at 41219 (+258), Inode bitmap at 41220 (+259)
Inode表位于 41221-41467 (+260)
7685 free blocks, 1976 free inodes, 0 directories
可用块数: 41468-49152
可用inode数: 9881-11856
Group 6: (Blocks 49153-57344)
Block bitmap at 49153 (+0), Inode bitmap at 49154 (+1)
Inode表位于 49155-49401 (+2)
3830 free blocks, 1976 free inodes, 0 directories
可用块数: 53515-57344
可用inode数: 11857-13832
Group 7: (Blocks 57345-65536)
备份 superblock at 57345, Group descriptors at 57346-57346
保留的GDT块位于 57347-57602
Block bitmap at 57603 (+258), Inode bitmap at 57604 (+259)
Inode表位于 57605-57851 (+260)
7685 free blocks, 1976 free inodes, 0 directories
可用块数: 57852-65536
可用inode数: 13833-15808
Group 8: (Blocks 65537-73728)
Block bitmap at 65537 (+0), Inode bitmap at 65538 (+1)
Inode表位于 65539-65785 (+2)
7943 free blocks, 1976 free inodes, 0 directories
可用块数: 65786-73728
可用inode数: 15809-17784
Group 9: (Blocks 73729-81920)
备份 superblock at 73729, Group descriptors at 73730-73730
保留的GDT块位于 73731-73986
Block bitmap at 73987 (+258), Inode bitmap at 73988 (+259)
Inode表位于 73989-74235 (+260)
7685 free blocks, 1976 free inodes, 0 directories
可用块数: 74236-81920
可用inode数: 17785-19760
Group 10: (Blocks 81921-90112)
Block bitmap at 81921 (+0), Inode bitmap at 81922 (+1)
Inode表位于 81923-82169 (+2)
7943 free blocks, 1976 free inodes, 0 directories
可用块数: 82170-90112
可用inode数: 19761-21736
Group 11: (Blocks 90113-98304)
Block bitmap at 90113 (+0), Inode bitmap at 90114 (+1)
Inode表位于 90115-90361 (+2)
7943 free blocks, 1976 free inodes, 0 directories
可用块数: 90362-98304
可用inode数: 21737-23712
Group 12: (Blocks 98305-102399)
Block bitmap at 98305 (+0), Inode bitmap at 98306 (+1)
Inode表位于 98307-98553 (+2)
3846 free blocks, 1976 free inodes, 0 directories
可用块数: 98554-102399
可用inode数: 23713-25688

二 存储管理

1 设备的查看

A 发现系统中的设备


B 系统发现的，但是没有投入使用的，随时可以使用的设备

C发现并在使用的设备

2 设备名称的读取

/dev/xd
x=s /dev/sd #sata硬盘，或者iscsi网络存储
x=v /dev/vd #虚拟硬盘，一般出现在虚拟机里
x=h /dev/hd #ide硬盘，一般出现在老式电脑中
=a～... #/dev/vda,系统中第一块虚拟硬盘

/dev/sda1 #系统中第一块sata硬盘的第一个分区

/dev/cdrom,/dev/sr[0-...] #系统中的光驱

/dev/mapper/* #系统中的虚拟设备

3 设备的使用

设备必须要用目录来对设备的内容进行读取，所以设备在使用时需要做挂载动作

设备挂载
blkid 识别可用设备

mount 设备 挂载点 ##设备的挂载

##把系统中第二块硬盘的第一个分区挂载到mnt下sda是第一块硬盘
mount /dev/sdb1 /mnt

##只读挂载第二块硬盘的第一个分区挂载到mnt下
mount -o ro /dev/sdb1 /mnt/

配置设备的挂载情况为读写挂载

##在设备被使用时更改设备的挂载参数为rw
mount -o remount,rw /mnt|/dev/sdb1

#设备卸载#
umount 设备|挂载点
umount /dev/sdb1 | /mnt

注意：当卸载设备时出现下列情况
#[root@foundation26 ~]# umount /mnt/
umount: /mnt: target is busy.
(In some cases useful info about processes that use
the device is found by lsof(8) or fuser(1))
标示设备正在被系统的某个程序使用，处理方式：
进程发现的方式#

fuser -vm /dev/sdb1
lsof /dev/sdb1

进程终止的方式#
kill -9 pid
fuser -kvm /dev/sdb1

三 分区管理

1 设备分区信息

1.mbr主引导记录446个字节
2.mpt主分区表64个字节
3.硬盘的有效性标识512个字节
4.一个主分区占用16个字节记录分区信息
5.一块硬盘上如果用mbr的分区方式最多可以存在4个主分区
6.主分区
7.扩展分区
8.逻辑分区

2 分区划分

fdisk -l

[root@localhost ~]# fdisk /dev/vdb
Command (m for help): m ##获得帮助
Command action
a toggle a bootable flag
b edit bsd disklabel
c toggle the dos compatibility flag
d 删除分区
g create a new empty GPT partition table
G create an IRIX (SGI) partition table
l list known partition types
m print this menu
n 新建分区
o create a new empty DOS partition table
p 显示分区标信息
q 退出
s create a new empty Sun disklabel
t 修改分区id
u change display/entry units
v verify the partition table
w 讲当前操作写入硬盘分区表
x extra functionality (experts only)
Command (m for help): n ##创建分区
Partition type: 创建分区类型
p 主分区
e 扩展分区
Select (default p): p
Partition number (1-4, default 1):1 ##确定主分区id
First sector (2048-20971519, default 2048): ##分区起始块的位置，用默认
Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-20971519, default 20971519):+100M #分区结束块位置，用+大小的方式指定
Command (m for help): wq ##保存分区策略并退出fdisk界面
cat /proc/partitions ##查看设备是否被系统识别

mkfs.ext3 /dev/vdb1 ##格式化设备，在设备上安装文件系统ext3

blkid ##查看可用设备，可以看到被格式化好的/dev/vdb1

mount /dev/vdb1 /mnt ##挂载设备，使设备投入使用

3 设备永久挂载

vim /etc/fstab 设备挂载策略文件
设备 挂载点 文件系统类型 挂载参数 是否备份设备 是否检测设备
/dev/vdb1 /westos xfs defaults 0 0


mount -a ##让fstab中未生效的策略生

#删除分区#

umount /dev/vdb1
fdisk /dev/vdb

四 swap 分区的管理

swap 交换分区，系统自己使用，不许要挂载

1.swap分区的查看

swapon -s
Filename Type Size Used Priority
/dev/sda7 partition 8142844 744 -1

2.swap分区的建立

1.划分分区，并修改分区的id为swap
fdisk /dev/vdb 建立分区
Device Boot Start End Blocks Id System
/dev/vdb1 2048 2050047 1024000 83 Linux ##默认情况下此分区时linux的普通分区

Command (m for help): t ##修改分区id
Selected partition 1
Hex code (type L to list all codes): l ##列出所有id类型代码
Hex code (type L to list all codes): 82 ##把/dev/vdb1的分区类型修改为swap，swap类型代码为82
Changed type of partition 'Linux' to 'Linux swap / Solaris'
Device Boot Start End Blocks Id System
/dev/vdb1 2048 2050047 1024000 82 Linux swap / Solaris

Command (m for help): wq

[root@localhost ~]# mkswap /dev/vdb1 ##格式化设备为swap文件系统格式
如果此处报错可能是因为未卸载该设备

[root@localhost ~]# swapon -a /dev/vdb1 ##激活swap设备，使系统利用此设备

[root@localhost ~]# vim /etc/fstab ##让此设备开机自动激活
/dev/vdb1 swap swap defaults 0 0

#当磁盘全部被占用，不能创建新分区时，可以用文件来代替分区#

[root@localhost ~]# dd if=/dev/zero of=/swapfile bs=1M count=1000

#此文件创建后的步骤和设备的步骤一致

3 swap分区的删除

[root@server ~]# vim /etc/fstab
[root@server ~]# swapoff /dev/vdb1

[root@server ~]# swapoff /swapfile
[root@server ~]# fdisk /dev/vdb

[root@server ~]# rm -fr /swapfile

五 磁盘配额

为磁盘使用用户分配额度
分区配额时针对与设备的

1 准备分区

2 .激活设备配额参数

Quota 比较常用的几个用途：
1 针对WWW server 每个人的网页空间容量的限制
2 针对mail server 每个人邮件空间的限制
3 针对 file server 每个他让你最大的可用网络磁盘空间
4 限制某一群组所能使用的最大磁盘配额，
5 限制某一用户所能使用的最大磁盘配额
6 限制某一目录的最大磁盘配额

3 Quota 的使用限制：

1 在EXT 文件系统家族仅能针对整个filesystem
2 核心必须支持quota
3 只对一般使用者身份有效
4 若启用selinux，非所有目录均可设定quota，

4 Quota 的规范设定项目：

分别针对XFS 的限制主要分为以下几种
1 分别针对用户，劝阻胡个别目录（user,group& project）

2 容量限制或文件数量限制（block inode）

3 柔性劝导与硬性规定
只针对一般使用者有效

若启用selinux，非所有目录军科设定quota
quota在selinux开启时只针对/home可以做操作

Hard 表示使用者绝对不能超过的限制，如果超过则系统会锁住该用户的使用权限

soft： 表示使用者在低于soft这个限制时，可以正常使用，在超过soft而低于hard 的限制时，每次用户登入系统时，系统会主动发出磁盘即将饱满的讯息，且给予一定的宽限时间（grace time），不过，若使用者在宽限时间倒数期间内就将容量再次降低soft 限制一下，则宽限时间会停止。

会倒数计时的宽限时间（grance time）
这个宽限制只有在磁盘在soft与hard之间才会出现，由于达到这个限制，用户磁盘使用权限可能被锁住，如果超过宽限时间没有更改，磁盘的容量将以soft为准，

5 挂载

mount -o usrquota /dev/vdb1 /westos/
chmod 777 /westos/

edquota -u student /dev/vdb1

Disk quotas for user student (uid 1000):
Filesystem blocks soft hard inodes soft hard
/dev/vdb1 204800 0 204800 1 0 0
以存在文件大小 软额度 最大额度 文件个数 软额度 最大额度


su - student
[student@localhost ~]$ dd if=/dev/zero of=/westos/file bs=1M count=201
dd: error writing ‘/westos/file’: Disk quota exceeded ##超过配额限制
201+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 0.230491 s, 910 MB/s

vim /etc/fstab ##开机自动激活配额
/dev/vdb1 /westos xfs defaults,usrquota 0 0

六 分区方式修改

mbr <------> gpt

1.mbr -----> gpt

[root@localhost ~]# parted /dev/vdb
GNU Parted 3.1
Using /dev/vdb
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel ##修改设备分区方式标签
New disk label type?
aix amiga bsd dvh gpt loop mac msdos pc98 sun
New disk label type? gpt|msdos ##把原有dos标签改称gpt格式 | 把gpt的改为mbr的
Warning: The existing disk label on /dev/vdb will be destroyed and all data on this disk will be lost. Do
you want to continue?
Yes/No? y
(parted) quit
Information: You may need to update /etc/fstab.

fdisk -l ##可以看到
.....
Disk label type: gpt ##设备分区方式为gpt
......

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

七 分区加密

1 修改分区类型为dos

2 建立分区加密

1.建立分区
2.cryptsetup luksFormat /dev/vdb1

3.cryptsetup open /dev/vdb1 westos

4.mkfs.xfs /dev/mapper/westos

5.mount /dev/mapper/westos /mnt/
touch /mnt/file{1..10}

7.umount /mnt
cryptsetup close westos
8.cryptsetup open /dev/vdb1 westos
mount /dev/mapper/westos /mnt/

3 加密设备开机自动挂载

1.[root@localhost ~]# vim /etc/fstab
/dev/mapper/westos /mnt xfs defaults 0 0
2.[root@localhost ~]# vim /etc/crypttab
westos /dev/vdb1 /root/passfile
3.vim /root/passfile
2017westos
chmod 600 /root/passfile
4.cryptsetup luksAddKey /dev/vdb1 /root/passfile

4 设置密码，之前配置的密码

5 加密的清除

[root@localhost ~]# umount /dev/mapper/westos
[root@localhost ~]# cryptsetup close westos
[root@localhost ~]# mkfs.xfs /dev/vdb1 -f
[root@localhost ~]# vim /etc/fstab
[root@localhost ~]# vim /etc/crypttab
[root@localhost ~]# rm -fr /root/passfile

6 删除上述配置即可