磁盘管理及文件系统管理
Linux磁盘管理及文件系统管理
涉及到的命令：
mknod、fdisk、partx、kpartx、partprobe、ln、mkfs、mkfs.{ext2、ext3、ext4、xfs}、fsck.{ext2、ext3、ext4、xfs}、mke2fs、dumpe2fs、tune2fs、e2label、blkid、mkswap、swapon、swapoff、mount、umount、lsof、fuser、df、du、free
=======================理论部分=======================
计算机的三大部件：
CPU、Memory、I/OI/O对服务器来讲主要是指磁盘和网卡
设备类型：
块设备（block），随机访问，数据交换单位为“块”
字符设备（character），线性访问，数据交换单位为“字符”
/dev/设备 设备文件：关联至设备的驱动文件；设备有自己的设备号，分别是主设备号和次设备号
major主设备号，用来区分设备类别（用于表明不同的驱动，不同类型的设备驱动是不同的）
minor此设备号，同一种设备类别下，不同的设备
mknod命令创建设备文件
格式：mknod [OPTION]... NAME TYPE [MAJOR MINOR]
如：mknod testdev c 100 5
testdev 新建的设备名，c 表示字符设备，100为主版本号，5为次版本号
磁盘设备文件的接口类型：
IDE、SCSI接口、SATA、USB、SAS
IDE接口设备文件名：/dev/hd[a-z]#
SCSI接口、SATA、USB、SAS这些个设备文件名：/dev/sd[a-z]#
a-z 标记设备；#为磁盘分区
track 磁道
sector 每个磁道划分成扇区，512字节/扇区
sylinder 柱面，分区是按照柱面进行划分
MBR(master boot record) 主引导记录表
存在于0磁道0扇区，共512个字节，这512个字节分成三个部分：
446字节：bootloader，程序加载器
64个字节：为分区表，每16个字节表示一个分区，这就是为什么一块硬盘只能有四个主分区
无论怎样组合主分区和扩展分区，第一个逻辑分区一定是/dev/sda5，不同的磁盘或者磁盘类型导致不一定是/dev/sda,但重点是5
2个字节：55AA（16进制），当前MBR信息是否有效的标记
==============================================
fdisk命令：
查看已经识别的磁盘设备
分区标志方式
主分区或扩展分区：1-4
逻辑分区：5+
fdisk /dev/sda （举例），进入到设备分区状态，通过交互式的方式进行
常用命令：
p 显示现有分区表
n 创建新分区
d 删除现有分区
t 修改分区ID
l 查看支持那些分区ID
w 保存退出
q 不保存退出
m 查看帮助信息
fdisk -l /dev/sd[a-z]
查看磁盘分区列表，如果后面不加设备名则列出全部磁盘分区情况
使用fdisk进行分区后，需要查看内核是否已经识别新建分区
cat /proc/partitions
一般来说，一块新添加的硬盘未进行任何分区，在fdisk后，内核一般会自动识别所有分区，但如果是一块在用的硬盘再次划分分区，内核不能自动识别，需要手动添加
通知内核强制读取分区表：
centos 5 : partprobe /dev/DEVICE
centos 6 : partx ,kpartx
partx -a /dev/DEVDICE
kpartx -af /dev/DEVICE
partx -l /dev/sda 列出分区
注意： 成功读取分区，可能要执行多次才能识别
============================================
创建分区以后是不能直接存数据的，需要进行格式化指定的文件系统
元数据：每个索引项被称为一个inode（index node）
"/" 根分区是存在内核中的，开机时就要管理根文件系统（rootfs）
链接文件，分为硬连接和软连接
硬连接：
#cp -l SRC DST
#ln SRC DST
两种方法都行
目录不支持硬连接
硬连接不能跨文件系统，（源数据和目标数据在同一个分区中）
源数据和目标数据指向同一个inode，创建硬连接会增加inode的引用计数
符号链接（即软连接）
#ln -s SRC DST
符号链接文件和原文件是两个各自独立的文件
目录可以创建软连接
可以跨文件系统
删除链接文件不影响源文件，但删除源文件，符号链接指向的文件不存在，就成了无效的链接
文件系统管理工具
创建文件系统
mkfs.ext2,mkfs.ext3,mkfs.ext4,mkfs.xfs(centos6中没有，需要安装xfsprogs)
检测文件系统
fsck.ext2,fsck.ext3,fsck.ext4,fsck.xfs
查看其属性
dumpe2fs,tune2fs
日志型文件系统，加速文件系统检测和修复过程，常见的有ext3\ext4\xfs(centos7中默认就是xfs类型)
创建ext系列文件系统，mke2fs
mke2fs [option]... /dev/DEVICE
option:
-t ext2/ext3/ext4 指明要创建的文件系统类型
mk2efs -t ext4=mkfs.ext4（以此类推）
-b block size {1024|2048|4096} 最大4096，因为内存page frame最大就是4K，不能超过内存的page frame
-L label，卷标，格式化时修改卷标
-i # 指明inode与字节的比率，即每多少个字节创建一个inode（调整的意义不大，一般都采用默认）
-N # 直接指明给此文件系统创建多少个inode
-m # 指定预留空间的百分比，默认为5（5%的空间留作管理员使用）
-O [^]FEATURE （特性），指定文件系统的特性，加上^表示取消指定特性
如：has_journal（如果使用-j选项；-j是创建ext2文件系统）不常用
e2label：查看或者修改分区卷标
查看：e2label /dev/DEVICE
设定卷标： e2label /dev/DEVICE LABEL（不需要格式化，而直接修改卷标）
#blkid /DEVICE（查看分区卷标信息）
tune2fs：查看或修改ext系列文件系统的某些属性
查看超级块中的数据信息：
tune2fs -l /dev/DEVICE
修改指定文件系统的属性：
-j ext2-->ext3 无损数据情况下，ext2升级为ext3
-L LABEL 修改卷标
-m # 调整预留百分比
tune2fs -m 3 /dev/sdb1 由默认的预留的5%修改3%（无损数据）
-O [^]FEATURE 开启或关闭某种特性
tune2fs -O ^has_journal /dev/sdb1 关闭日志功能（会变成ext2系统类型）
-o [^]mount_options 开启或关闭某种默认挂载选项
tune2fs -o acl /dev/sdb1 支持facl功能
tune2fs -o ^acl /dev/adb1 关闭facl功能
dumpe2fs： （ext系列文件系统）
-h 仅显示超级块信息 结果等于tune2fs -l /dev/DEVDICE
dumpe2fs /dev/DEVICE 产看完整的信息
文件系统检测：
因进程意外终止，或系统崩溃等原因导致写入操作非正常终止时，可能会导致文件损坏，此时应该修复文件系统
注意：应该离线进行
卸载文件系统，离线进行
fsck
fsck.ext2,fsck.ext3,fsck.ext4
fsck -t TYPE = fsck.TYPE
-a (auto)，自动修复所有错误（有副作用）
-r 交互式提醒修复错误（默认行为）
ext系列，文件系统专用工具：
e2fsck
-y 对所有问题自动回答yes
-f 即便文件系统处于clean状态，也要强制进行检测
windows无法识别Linux上的专用文件系统，因此，有存储设备需要两种系统之间交叉使用时，应该使用windows支持的文件系统：
#mkfs -t vfat /dev/DEVICE(不常用)
另外一种特殊的文件系统：
swap交互分区
Linux上的交换分区必须使用独立的磁盘分区
fdisk /dev/DEVICE t命令调整ID为82 注意调整swap类型
创建交换分区文件系统：
mkswap [-L LABEL] /dev/DEVICE
swapon /dev/DEVICE 启用
swapoff /dev/DEVICE 不起用
文件系统挂载
在Linux系统上，所有文件系统必须挂载才能使用
根文件系统：根关联的分区，其余所有的其他文件系统要想被访问，都只能通过关联至跟文件系统上的某个目录
注意：如果一个目录中有文件，然后把一个分区挂载至此目录，原目录中的文件会被隐藏
命令：mount、umount 挂载、卸载
挂载点：mount_point，用于作为另一个文件系统的访问入口
mount DEVICE MOUNT_POINT
挂载点：
1、事先存在
2、尽量使用空白目录
卸载：
umount DEVICE 或者 umount MOUNT_POINT
mount
常用挂载选项：
mount：显示当前系统已经挂在的所有文件系统的属性
mount [option]... [-t fstype] [ -o option] DEVICE MOUNT_POINT
命令选项：
-r 只读挂载
-w 读写挂载
-t fsTYPE，被挂在的设备上的文件系统，可省略，此时mount会自动使用blkid命令来判断类型
-L LABEL 以卷标的方式挂载设备，此时DEVICE需要省略 (上文说道blkid可以查看卷标)
-U UUID 以UUID的方式挂载设备，此时DEVICE需要省略
-a 自动挂载所有支持自动挂载的设备 （/etc/fstab文件中定义的支持自动挂载的设备）
-n 默认情况下，设备挂载与否的改变结果会保存于/etc/mtab中一份，如果不想更新此文件，可以使用-n选项
/etc/mtab 自动追踪系统已挂在的文件系统
挂载选项
-o OPTION
async 异步写入（性能好，但数据可靠性差，一般情况下都用异步模式）
sync 同步写入（性能差，但数据可靠性好）
dirtime/nodirtime 目录在访问时是否更新访问时间戳
atime/noatime 文件或目录在被访问时是否更新其访问时间戳
auto/noauto 支持/不支持自动挂载（跟前面的选项-a有关）
dev/nodev 此设备上是否允许创建设备文件
exec/noexec 是否允许执行此文件系统上的程序文件
suid/nosuid 是否支持此设备上的文件使用suid权限
acl/noacl 支持/不支持acl
remount 重新挂载
ro 只读
rw 读写
user/nouser 是否允许普通用户挂载此文件系统
defaults （不写则为defaults）
Use default options: rw, suid, dev, exec, auto, nouser, async, and relatime.
如：mount -o remount,acl /dev/sdb7 remount,acl用逗号更分割但不用空格隔开
注意：可以使用tune2fs -o acl DEVICE 来设置DEVICE的默认挂载选项（因为mount挂载时没有指定acl，则不支持acl）
mount命令的另一个使用技巧：
将某目录绑定至指定另外一个目录下
mount --bind 源目录 目标目录
如： mount --bind /usr/local /mnt
查看已经挂载设备的方法：
mount
cat /etc/mtab
cat /proc/mounts
注意：卸载设备时如果有其他进程正在访问，是不能被卸载的
报错提示：
umount: /mnt: device is busy.
(In some cases useful info about processes that use
the device is found by lsof(8) or fuser(1))
可以使用lsof 或者 fuser
[root@www mnt]# lsof /dev/sdb7
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
bash 11246 root cwd DIR 8,23 6 128 /mnt
lsof 19893 root cwd DIR 8,23 6 128 /mnt
lsof 19894 root cwd DIR 8,23 6 128 /mnt
[root@www mnt]# fuser -v /mnt
USER PID ACCESS COMMAND
/mnt: root 11246 ..c.. bash
如果想强行卸载，杀死访问挂载点进程
fuser -km MOUNT_POINT/DEVICE
然后在进行卸载就OK了
df命令
报告文件系统使用状况信息
-l 仅显示本地文件系统的相关信息
-h 单位划算
-i 显示inode信息，而非磁盘块（默认是磁盘块）
du命令
文件大小查看
-s summary，统计目录底下所有文件的总大小（目录大小跟目录底下文件的大小是没有关系的）
-h 单位划算
如：
[root@www tmp]# du -sh /*
4.0K/backup
8.4M/bin
34M/boot
204K/dev
......
swap相关
free命令，查看内存使用状况
buffer 缓冲
cache 缓存
swapon DEVICE 启用指定的交换分区
-a 启用/etc/fstab中所有定义的交换分区
swapoff DEVICE 关闭指定的交换分区
/etc/fstab
修改配置文件，开机自动挂载
共有6个字段，并用空格分隔开
第一字段：挂载设备 （设备文件名、UUID、LABEL、伪文件系统，如sysfs,proc,tmpfs等）
第二字段：挂载点（swap的挂载点就是 swap）
第三字段：文件系统类型
第四字段类型：挂载选项（defaults，表示使用默认挂载选项，多个挂载选项使用逗号分隔）
第五字段类型：转储频率，即多久备份一次，0表示从不备份，1表示每天没法，2表示隔一天备份一次（一般都为0）
第六字段类型：自检次序，0表示不自检，1表示首先自检（一般只有”/“文件系统可首先自检），2表示次级自检，然后3、4、5.......（一般为0）
#mount -a 会挂载/etc/fstab中支持自动挂载的设备
======================练习======================
练习
1、创建一个10G分区，并格式为ext4的文件系统，要求block为2048，卷标MYDATA,默认挂载属性包含acl，挂载至/data/mydata，挂载时禁止程序自动运行，且不更新文件的访问时间戳
使用/dev/sdb做实验
#fdisk /dev/sdb#创建分区
n新建
p选择类型，主分区
1分区编号
1起始柱面
+10G大小指定为10G
w保存退出
#partx -a /dev/sdb#让内核识别新分区，执行两次
# mkfs -t ext4 -b 2048 -L MYDATA /dev/sdb1
[root@localhost ~]# tune2fs -o acl /dev/sdb1
[root@localhost ~]# tune2fs -l /dev/sdb1
tune2fs 1.41.12 (17-May-2010)
Filesystem volume name: MYDATA
Last mounted on: <not available>
Filesystem UUID: 6e85fb3a-16fe-4123-9905-210a9264bc32
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal ext_attr resize_inode dir_index filetype extent flex_bg sparse_super huge_file uninit_bg dir_nlink extra_isize
Filesystem flags: signed_directory_hash
Default mount options: acl
Filesystem state: clean
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 657408
Block count: 5245206
Reserved block count: 262260
Free blocks: 5123382
Free inodes: 657397
First block: 0
Block size: 2048
Fragment size: 2048
...
[root@localhost ~]# blkid /dev/sdb1
/dev/sdb1: LABEL="MYDATA" UUID="6e85fb3a-16fe-4123-9905-210a9264bc32" TYPE="ext4"
[root@localhost ~]# mount -t ext4 -o noexec,noatime /dev/sdb1 /data/mydata/
[root@localhost ~]# mount
/dev/sda2 on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw)
/dev/sda1 on /boot type ext4 (rw)
/dev/sda3 on /usr type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
/dev/sdb1 on /data/mydata type ext4 (rw,noexec,noatime)
2、创建一个大小为1G的交换分区，并创建好文件系统，并启用
创建分区：
#fdisk /dev/sdb
n #新建
p #选择类型，主分区
2 #分区编号
#直接回车表示起始柱面从默认开始
+2G #指定大小为2G
t #切换分区
2#选择分区2
82 #更换类型为82（Linux swap）
w #保存退出
添加到内核
#partx -a /dev/sdb #添加到内核，一次如果不行，可以多执行一次
制作成swap类型
[root@localhost ~]# mkswap /dev/sdb2
mkswap: /dev/sdb2: warning: don't erase bootbits sectors
(dos partition table detected). Use -f to force.
Setting up swapspace version 1, size = 2104508 KiB
no label, UUID=721c7796-82c8-400a-8532-1db69114859b
[root@localhost ~]# free -m
total used free shared buffers cached
Mem: 988 146 841 0 14 52
-/+ buffers/cache: 79 908
Swap: 0 0 0
启用swap并验证
[root@localhost ~]# swapon /dev/sdb2
[root@localhost ~]# free -m
total used free shared buffers cached
Mem: 988 148 840 0 14 52
-/+ buffers/cache: 81 907
Swap: 2055 0 2055
3、练习：（脚本实现）
A、获取并列出当前系统上的所有磁盘设备
B、显示每个磁盘设备上每个分区相关空间的使用情况
#!/bin/bash
for i in $(grep '.*[^0-9]$' /proc/partitions |grep -v 'major'|tr -s ' ' |cut -d' ' -f5);do
echo "============$i============"
fdisk -l /dev/$i
df -h /dev/$i
echo
done
[root@localhost scripts]# bash 6.sh
============sdb============
Disk /dev/sdb: 42.9 GB, 42949672960 bytes
255 heads, 63 sectors/track, 5221 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xcea36bcf
Device Boot Start End Blocks Id System
/dev/sdb1 1 1306 10490413+ 83 Linux
/dev/sdb2 1307 1568 2104515 82 Linux swap / Solaris
Filesystem Size Used Avail Use% Mounted on
- 480M 212K 480M 1% /dev
============sda============
Disk /dev/sda: 85.9 GB, 85899345920 bytes
255 heads, 63 sectors/track, 10443 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0000e0a8
Device Boot Start End Blocks Id System
/dev/sda1 * 1 26 204800 83 Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2 26 2637 20971520 83 Linux
/dev/sda3 2637 5248 20971520 83 Linux
/dev/sda4 5248 10444 41737216 5 Extended
/dev/sda5 5248 6553 10488077 fd Linux raid autodetect
/dev/sda6 6554 7859 10490413+ fd Linux raid autodetect
/dev/sda7 7860 8198 2722986 fd Linux raid autodetect
/dev/sda8 8199 8537 2722986 fd Linux raid autodetect
Filesystem Size Used Avail Use% Mounted on
- 480M 212K 480M 1% /dev