【操作系统】操作系统IO和虚拟文件系统VFS
1.什么是操作系统的IO
输入（input）和输出（output），就是对磁盘的读（read）和写（write）。
I/O模式可以划分为本地IO模型（内存、磁盘）和网络IO模型。
I/O关联到用户空间和内核空间的转换，也称为用户缓冲区和内核缓冲区。
用户态的应用程序不能直接操作内核空间，需要将数据从内核空间拷贝到用户空间才能使用。
- read和write操作，都只能在内核空间里执行
- 磁盘IO和网络IO请求都是先放在内核空间，然后加载到内存的数据
2.什么是文件系统
在linux中一切皆文件，文件系统是管理磁盘上的全部文件，文件管理组织方式多种多样，所以文件系统存在多样化。
文件系统是管理数据，而存储数据的物理设备有硬盘、U盘、SD卡、网络存储设备等。
不同的存储设备其物理结构不同，不同的物理结构就需要不同的文件系统去管理。
例子：
- Windows有FAT12、FAT16、FAT32、NTFS、exFAT等文件系统。
- Linux有Ext2、Ext3、Ext4、tmpfs、NFS等文件系统。
查询系统用了哪些文件系统：df -h -T
两个核心概念：
- 索引节点（index node）
- 简称inode，记录文件的元信息，比如文件大小、访问权限、修改日期、数据存储位置等。
- 索引节点也需要持久化存储，占用磁盘空间。
- 目录项（directory entry）
- 简称为dentry，记录目录结构，比如文件的名字、索引节点指和其他目录的关联关系等，树状结构居多。
- 存储在内存中，也叫目录项缓存。
3.什么是虚拟文件系统VFS
虚拟文件系统VFS（Virtual File System）就是调用读写位于不同物理介质上的不同文件系统，为各类文件系统提供统一的接口进行交互。
在应用程序和具体的文件系统之间引入一个抽象层，开发者不用心底层的存储介质和文件系统类型就可以使用。
平时调用write的时候，数据是从应用写入到了C标准库的IO Buffer（存在用户态）
在关闭流之前flush下文件，通过flush将数据主动写入到内核的Page Cache中，如果应用挂了，数据不安全（存在内核态）
然后将内核中的Page Cache的数据写入到磁盘的缓存中，即使系统挂了，数据也是安全的，需要调用fsync（存在持久化介质）
4.写入磁盘数据不同参数案例
（1）写入到Page / Buffer Cache中
# 释放所有缓存
echo 3 > /proc/sys/vm/drop_caches
dd if=/dev/zero of=lixiang_test1 bs=1M count=1024
（2）直接写入到磁盘的缓存区
# 释放所有缓存
echo 3 > /proc/sys/vm/drop_caches
dd if=/dev/zero of=lixiang_test2 bs=1M count=1024 oflag=direct
（3）写入到磁盘的缓存区在同步到磁盘
# 释放所有缓存
echo 3 > /proc/sys/vm/drop_caches
dd if=/dev/zero of=lixiang_test3 bs=1M count=1024 oflag=sync
（4）结果
- 没有oflag的时候，文件复制速度是 oflag=direct 的多倍
- 答案：默认是buffered I/O，数据写到缓存层便返回，所以速度最快
- oflag=direct的速度又比 oflag=sync 快了点
- 答案：数据写到磁盘缓存便返回，所以速度比上面的buffered I/O方式要慢
- oflag=sync 的速度最慢
- 答案：写入的数据全部落盘才返回，所以速度比上面的仅写到磁盘缓存要慢
- 物理磁盘也会带有缓存 disk cache，用于提供I/O速度, 一般磁盘中带有电容，断电也能把缓存数据刷写到磁盘中
5.机械硬盘HDD简介
（1）概念介绍
- 盘面号（磁头号）
- 硬盘的每一个盘片都有两个盘面（Side），即上下盘面，一般每个盘面都会利用，都可以存储数据，成为有效盘片，也有极个别的硬盘盘面数为单数。
- 每一个这样的有效盘面都有一个盘面号，按顺序从上至下从“0”开始依次编号。在硬盘系统中，盘面号又叫磁头号，因为每一个有效盘面都有一个对应的读写磁头
- 磁道
- 磁盘在格式化时被划分成许多同心圆，这些同心圆轨迹叫做磁道（Track）。
- 柱面
- 所有盘面上的同一磁道构成一个圆柱，通常称作为柱面（Cylinder），每个圆柱上的磁头由上而下从“0”开始编号。
- 扇区
- 即磁盘块、物理块。
- 现代系统中，一般是512B大小,即512字节。
- 簇
- 将物理相邻的若干个扇区称为了一个簇。操作系统读写磁盘的基本单位是扇区，而文件系统的基本单位是簇(Cluster)。
- 簇一般有这几类大小 4K，8K，16K，32K，64K等。
（2）磁盘如何读取数据
- 磁臂摆动+盘片转动（耗时大所以导致慢，随机在硬盘上找一个数据，需要8-14ms），定位到目标扇区读取数据。
- 磁臂在一定范围内摆动，来找到目标扇区，靠磁头把某个扇区的数据传输到总线上
- 磁臂摆动范围有限，触达不到比较远的扇区，靠转轴来带动盘片，比如磁盘转速有7200转/分，1秒就是120圈
- 常规1秒可以做100次随机IO，所以高并发业务单靠磁盘上扛不住的，基本都是要结合缓存
- 想要优化，不用随机IO，采用顺序IO，节省了大量的物理耗时，比如Kafka、RocketMQ
6.磁盘读写常见指标
IOPS（Input/Output Operations per Second）
- 指每秒能处理的I/O个数，表示块存储处理读写（输出/输入）的能力，单位为次，有顺序IOPS和随机IOPS
- 比如100次/秒，那iops就是100次/秒，例如数据库类应用等典型场景重点提升这个指标，下面是阿里云盘性能
- 高效云盘：2120 IOPS
- ESSD云盘：2280 IOPS
- SSD云盘：3000 IOPS
- 参考：https://help.aliyun.com/document_detail/25382.html
吞吐量/带宽（Throughput）
- 是指单位时间内可以成功传输的数据数量，单位为MB/s
- 比如 一个硬盘的读写 IO 是 1MB，硬盘的 IOPS 是 100，那么硬盘总的吞吐率就是 100MB/s
- 带宽 = IOPS * IO大小
- 如果需要部署大量顺序读写的应用，例如Hadoop离线计算型业务等典型场景，需要关注吞吐量
容量（Capacity） 查看。df -h
- 是指存储空间大小，单位为TiB、GiB、MiB或者KiB，块存储容量按照二进制单位计算
1B(byte 字节)=8bit
1KB(Kilobyte 千字节)=1024B
1MB(Megabyte 兆字节 简称“兆”)=1024KB
1GB(Gigabyte 吉字节 又称“千兆”)=1024MB，
1TB(Terabyte 万亿字节 太字节)=1024GB，
1PB（Petabyte 千万亿字节 拍字节）=1024TB，
1EB（Exabyte 百亿亿字节 艾字节）=1024PB
7.Linux磁盘IOPS性能测试
（1）什么是fio
- 全称flexible I/O tester（灵活的I/O测试工具）是一个I/O工具
- 可以根据用户指定的I/O类型，利用多线程/进程的I/O来对硬件进行压力测试和验证
# 安装fio
yum install fio -y
| 参数 | 说明 |
|---|---|
| filename | 待测试的文件或块设备 如果是文件，则是测试文件系统的性能，例：-filename = /work/fstest/fio.img 如果是块设备，则是测试裸设备的性能，例：-filename = /dev/vda1(注意容易损坏磁盘) |
| ioengine | IO引擎fio支持多种引擎如：cpuio、mmap、sync、psync、filecreate、libaio等 常用libaio是linux异步读写IO（Linuxnative asynchronous I/O） |
| iodepth | 表示使用AIO时，同事发出I/O数的上限为128 |
| direct | 是否采用直接I/O，（directIO）方式进行读写 如果采用直接I/O，则取值-direct = 1，否则取值-direct = 0 一般是用直接I/O写测试，测试结果更加真实 |
| rw | 读写模式 read：顺序读测试，使用方式 -rw = read write：顺序写测试，使用方式 -rw = wrie randread：随机读测试，使用方式 -rw = randread randwrite：随机写测试，使用方式 -rw = randwrite randrw：随机读写，-rw = randrw，默认比率为5:5 |
| numjobs | 测试进程的并发数，比如-numjobs = 16 |
| bs | 单次IO的大小，比如 -bs = 4k |
| size | 测试文件的大小，比如 -size = 1G |
| sync | 设置同步模式，同步 -sync = 1，异步 -sync = 0 |
| runtime | 设置测试运行时间，单位秒，比如：-runtime = 100 |
| group_reporting | 结果把多线程汇总输出 |
（2）测试命令
# 随机读
fio -direct=1 -iodepth=128 -rw=randread -ioengine=libaio -bs=4k -size=1G -runtime=10 -filename=iotest1 -name=iotest1
# 随机写
fio -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -bs=4k -size=1G -runtime=10 -filename=iotest2 -name=iotest2
# 顺序读
fio -direct=1 -iodepth=128 -rw=read -ioengine=libaio -bs=4k -size=1G -runtime=10 -filename=iotest3 -name=iotest3
# 顺序写
fio -direct=1 -iodepth=128 -rw=write -ioengine=libaio -bs=4k -size=1G -runtime=10 -filename=iotest4 -name=iotest4
# 随机读写
fio -direct=1 -iodepth=128 -rw=randrw -ioengine=libaio -bs=4k -size=1G -runtime=10 -filename=iotest5 -name=iotest5
8.固态硬盘SSD简介
（1）什么是固态硬盘SSD
- 固态电子元器件组成，没有盘片、磁臂等机械部件，不需要磁道寻址，靠电容存储数据。
- 某块区域存在数据，机械硬盘写入可以直接覆盖，而固态硬盘需要先擦出，再写入。
- block块擦的越多寿命就越短，业务数据高频更新，则不太建议使用固态硬盘
- 最小读写单位是页，通常大小是4KB、8KB
- 性能高，IOPS可以达到几万以上，价格比机械硬盘贵，寿命短。
（2）固态硬盘的组成结构
- SSD多个裸片组成
- 裸片多个平面组
- 平面plane（多个block组成）
- 块block（通常64个page组成一个block）
- 页 page 4k
（3）磁盘的擦除数据
- SSD里面最小读写单位是page，但是最小擦除单位是block。
- 一个块上的某些页的数据被标记删除，不能直接擦除这些页，除非整个块上的页都被标记删除。
- 块还有其它有效数据，当有新数据只能写入白色区域，并不能利用红色区域，时间越长，不能被使用的碎片越多。
- 解决方式为标记整理机制程序，有效页数据复制到一个空白的块里，然后把整个块完全擦除。
- **擦除数据 类似JVM的GC ，标记整理 Mark Compact **
- 先对对象进行一个标记，看看哪些对象是垃圾
- 整理会在清除的过程中，把可用的对象向前移动，让内存更为紧凑，避免内存碎片的产生
- 整理之后发现内存更紧凑，连续的空间更多，就不会造成内存碎片的问题
9.操作系统的磁盘分区
（1）为啥要磁盘分区？
- 方便管理、提升系统的效率和做好存储空间隔离分配
- 将系统中的程序数据按不同的使用分为几类，将不同类型的数据分别存放在不同的磁盘分区中
- 在每个分区上存放的都是相似的数据或程序，这样管理和维护就容易多
- 分区可以提升系统的效率，系统读写磁盘时，磁头移动的距离缩短了，即搜寻的范围小了
- 如果不运用分区，每次在硬盘上寻找信息时可能要寻找整个硬盘，所以速度会很慢
- 允许在一个磁盘上有多个文件系统，每个分区可以分配不同的文件系统
- 从而使操作系统可以识别每个分区的文件系统，从而实现文件的存储和管理
- 创建硬盘分区后，还不能立即使用，还需要创建文件系统，即格式化
- 格式化后常见的磁盘格式有：FAT(FAT16)、FAT32、NTFS、ext2、ext3等
（2）硬盘分区类型（不同类型的磁盘支持分区的数量有限制）
- 主分区：直接在硬盘上划分，一个硬盘可以有1到3个主分区和1个扩展分区。
- 扩展分区：是一个概念实际在磁盘中看不到，也无法直接使用扩展分区，在扩展分区中建立逻辑分区。
- 容量
- 硬盘的容量 = 主分区的容量+扩展分区的容量
- 扩展分区的容量 = 各个逻辑分区的容量之和
- 多个硬盘多个分区查看命令：lsblk
- Linux系统下的硬盘分区设备名称
| 设备 | 介绍 | 设备在Linux中的中文名 |
|---|---|---|
| IDE硬盘Hard Disk | Integrated Drive Electronics 电子集成驱动器/dev/hd 是IDE 接口硬盘分区，一般用于普通桌面和服务器 |
/dev/hd[字母] [数字] |
| SCSI光盘Solid Disk | Small Computer System Interface 小型计算机系统接口/dev/sd 是SCSI 接口硬盘分区，一般用于服务器 |
/dev/sd[字母] [数字] |
| virtio 虚拟磁盘Virtual Disk | /dev/vd 虚拟磁盘分区，一般用于在虚拟机上扩展存储空间 |
/dev/vd[字母] [数字] |
- fdisk 管理磁盘分区
-
df 检查文件系统的磁盘空间占用情况 ( 全称： disk free)
-
df -h -T以磁盘分区为单位查看文件系统，获取硬盘被占用了多少空间，目前还剩下多少空间等信息 -
通常加 -h 选项为根据大小适当显示
-
| 字段 | 说明 |
|---|---|
| Filesystem | 文件系统 |
| Size | 分区大小 |
| Used | 已使用容量 |
| Avail | 还可以使用的容量 |
| Use% | 已用百分比 |
| Mounted on | 挂载点 |
10.磁盘冗余阵列
（1）磁盘阵列
- 独立磁盘冗余阵列RAID（Redundant Array of Independent Disks）
- 一种提供高可用性和数据容错性的数据存储技术。把几块硬盘组成一个阵列，并将它们的数据分布在不同的磁盘上。
- 在硬盘发生故障时保护数据，还可以提高I/O性能，使系统能够更快的完成任务。
- 简单来说：是把相同的数据存储在多个硬盘的不同的地方，存储冗余数据增加了容错。
- 根据性能、容量、可靠性、有多个级别，如 RAID0、RAID1、RAID5、RAID10
（2）RAID方案
- RAID0磁盘阵列
- 至少需要两块硬盘，磁盘越多，读写速度快，一个磁盘吞吐 * 磁盘数量 * 0.8，没有冗余。
- 磁盘利用率100%，安全性低。
- 优点是读写性能比一般的硬盘要好，缺点是没有数据冗余，一块硬盘出现故障可能导致数据损坏。
- RAID1镜像阵列
- 全部数据都分别复制到多块盘上，当其中一块盘出现故障时另外一块盘的数据可以被立即使用，从而保证数据的安全性。
- 每次写数据时都会同时写入镜像盘，读写性能较低，只能用两块硬盘，一块磁盘冗余，磁盘的利用率只有50%。
- 优点是数据冗余性高，缺点是读写性能比一般的硬盘差。
- 适合服务器、数据库存储等领域。
- RAID5条带阵列
- 至少需要三块硬盘，一块磁盘冗余，是最通行的配置方式，是将多块硬盘按特定顺序组合起来。
- 在每块硬盘上都会存储1份数据和1份校验信息，1块硬盘出现故障时，根据另外2块硬盘的校验信息可以恢复数据
- 这种存储方式只允许有一块硬盘出现故障，出现故障时需要尽快更换
- 综合了RAID-0和RAID-1的优点和缺点，是RAID0和RAID1的折中方案
- 适合需要安全和成本兼顾的领域，性能要求稍高，比如金融数据库存储
