linux的IO子系统的认识

author：skate
time：2009/09/09

---

 

1. linux开启AIO

从Oracle9iR2开始支持Linux上的异步IO，但是Oracle9iR2和Oracle10gR1中的AIO模块默认是disable的，如果要启用必须relink一下

   

 cd $ORACLE_HOME/rdbms/lib
    make -f ins_rdbms.mk async_on
    make -f ins_rdbms.mk ioracle

 

当然，如果要关闭AIO支持，只需要使用async_off选项进行relink即可。在Oracle10gR2中AIO默认已经是开启的了。

可以通过ldd或者nm来检查oracle是否已经启用了AIO支持，有输出代表已经启用

 

说明：

 

ldd：能够显示可执行模块的dependency
nm：这个命令列出目标文件的符号。如果没有指定目标文件，默认是a.out

 

oracle@dbolap ~]$ ldd /home/oracle/oracle/product/10.2.0/db_1/bin/oracle |grep libaio
        libaio.so.1 => /usr/lib64/libaio.so.1 (0x0000003036e00000)

 

[oracle@dbolap ~]$ nm /home/oracle/oracle/product/10.2.0/db_1/bin/oracle |grep io_getevent
                 w io_getevents@@LIBAIO_0.4

 

当然，Linux也必须已经安装了AIO相关的package

 

[oracle@dbolap ~]$ rpm -qa |grep aio
libaio-devel-0.3.105-2
libaio-0.3.105-2

 

可以通过查看slabinfo统计信息查看操作系统中AIO是否运行，slab是Linux的内存分配器，AIO相关的内存结构已经分配的话(第二列和第三列非0)说明AIO已经启用

 

cat /proc/slabinfo | grep kio
      kioctx 102 170 384 10 1 :tunables 54   27 8 : slabdata 17 17 0
      kiocb 488 495 256 15 1 :tunables 120 60 8 : slabdata 33 33 120

 

最后，还需要在Oracle中设置相关的初始化参数来使用AIO

 

      disk_asynch_io = true
      filesystemio_options = asynch #文件系统才需要

 

查看与修改

SQL> show parameter disk_asynch

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
disk_asynch_io                       boolean     TRUE

SQL> show parameter filesystem

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
filesystemio_options                 string      none

 

SQL> alter system set filesystemio_options=asynch scope =spfile;

System altered.

 

2.linux系统的块的大小

 

查看os系统块的大小

[root@dbolap ~]# /sbin/tune2fs -l /dev/sda1 |grep Block
Block count:              255024
Block size:               4096
Blocks per group:         32768

 

查看os页的大小

[root@dbolap ~]# getconf PAGESIZE
4096
[root@dbolap ~]#

 

 

块的大小修改：

 

是在创建文件系统时，指定块的大小

 

参考：
http://blog.csdn.net/wyzxg/archive/2008/03/13/2176520.aspx

3. linux的最大io：可以自己测试，例如用dd命令

dd if=/dev/zero of=/file 测试磁盘的纯写入性能

dd if=/file of=/dev/null 测试磁盘的纯读取性能

dd if=/file1 of=/file2 测试磁盘的读写性能

 

例如：

[root@dbolap ~]# time  dd if=/dev/zero of=/u01/disk_test bs=8192 count=1000k
1024000+0 records in
1024000+0 records out

real    2m14.593s
user    0m0.268s
sys     0m25.777s

 

共用了135秒然后人工的粗略计算下

 

SQL> select 8192*1000000/1024/1024/135 from dual;

8192*1000000/1024/1024/135
--------------------------
          57.8703703703704

然后在用iostat对比下

[root@dbolap ~]# iostat  -d -x 2

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          0.00 13884.92  1.01 191.46    8.04 112542.71     4.02 56271.36   584.79   193.75  945.48   5.22 100.55
sda1         0.00   2.51  0.00  0.00    0.00   24.12     0.00    12.06     0.00     0.50    0.00   0.00  50.45
sda2         0.00 13873.37  1.01 187.94    8.04 112434.17     4.02 56217.09   595.11   190.78  935.43   5.32 100.55
sda3         0.00   1.01  0.00  1.01    0.00   12.06     0.00     6.03    12.00     1.05 1898.50 1000.50 100.55
sda4         0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda5         0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda6         0.00   7.54  0.00  2.51    0.00   64.32     0.00    32.16    25.60     1.21 1320.00 400.20 100.55
sda7         0.00   0.50  0.00  0.00    0.00    8.04     0.00     4.02     0.00     0.21    0.00   0.00  20.60
sda8         0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-0         0.00   0.00  0.00  1.51    0.00   12.06     0.00     6.03     8.00     3.10 3163.67 667.00 100.55
dm-1         0.00   0.00  1.01 14054.27    8.04 112434.17     4.02 56217.09     8.00 14686.34  966.93   0.07 100.55

 可以看出两个值还是差不多的，很接近的

参考：
http://blog.csdn.net/wyzxg/archive/2008/03/13/2176520.aspx

sar命令说明
http://bbs.chinaunix.net/viewthread.php?tid=778325

dd命令参考
http://yayi.biz/post/13.html

 

 

 

4.linux的iops的计算

 

root@dbolap ~]# iostat -d  sda 2
Linux 2.6.9-78.ELsmp (dbolap.happypool.cn)      09/11/2009

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               7.40         5.41       721.20    7381654  984168616
sda             176.38       393.97     72156.78        784     143592
sda             230.85       963.18     99781.09       1936     200560
sda             253.77       470.35    127557.79        936     253840
sda             181.50       224.00    103668.00        448     207336
sda             173.50       600.00    109528.00       1200     219056
sda             181.09       517.41     65747.26       1040     132152
sda             200.00       508.00    115660.00       1016     231320
sda             172.00       288.00     72068.00        576     144136
sda             188.44       574.87    126653.27       1144     252040
sda             189.05       306.47    101213.93        616     203440

iostat的tps代表：每秒io的说量

 

tps：
Indicate the number of transfers per second that were
issued to the device. A transfer is an I/O request to the
device. Multiple logical requests can be combined into a
single I/O request to the device. A transfer is of inde-
terminate size

 

在只有的IO压力下，这个数据可以认为就是表征磁盘处理能力的iops，同时通过vmstat观察系统资源情况，
查看是否还有其他压力

 

 

[root@dbolap ~]# vmstat 2
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
 1 20 122316  28260   6180 1703804    0    0     1    91    7     3  0  0 99  1
 0 19 122316  25452   6260 1703452    0    0   106 59678 1218   238  0  5 17 78
 0 19 122312  28012   6056 1699104    0    0    52 53200 1234   239  0  8  8 84
 1 19 122312  25004   6056 1717940    0    0   114 22970 1202   252  0  7  9 83
 0 17 122312  27620   5980 1714148    0    0   116 49656 1208   333  0  7 31 62
 0 17 122312  27476   5912 1710884    0    0   128 47120 1225   339  0  7 11 82
 0 21 122312  25108   5876 1711736    0    0    54 57868 1219   328  0  8  4 89
 0 20 122312  28628   5988 1706728    0    0    90 50950 1210   333  0  6 12 81
 1 20 122312  25940   6088 1705744    0    0    82 55006 1200   223  0  7  0 93
 0 22 122312  26116   6044 1702452    2    0   104 50190 1216   223  0  6  0 94
 0 22 122308  27396   6112 1698036    0    0    58 48906 1203   550  0  6  0 94
 0 22 122308  29260   6116 1695448    0    0    50 37316 1229   232  0  6  0 94
 0 28 122308  24300   6072 1695832    0    0   290 51034 1234   267  0  6  0 93

 

 

此时系统iowait很高，可以近似认为IO负载达到了峰值。

 

 

还可以用其他软件测试

orion，一款由Oracle公司提供，专门用于模拟数据库运行机制来测试存储的优秀IO存储测试软件，可以在不运行oracle数据库的情况下，仿真OLTP随机操作

http://www.ixdba.com/html/y2007/m06/125-orion-storage-test.html

 

 

 

5.linux的吞吐量

 

 

影响存储的iops： cache的算法（一般在oltp系统，cache的命中率在20%左右，）
                          磁盘的数量

 

影响存储吞吐量：磁盘的数量
                        存储的架构

 

 

SAN和NAS存储一般都具备2个评价指标：IOPS和带宽（throughput），两个指标互相独立又相互关联。体现存储系统性能的最主
要指标是IOPS。

 

IOPS(I/Os per second)：即每秒输入输出次数。指的是系统在单位时间内能处理的最大的I/O频度；一般，OLTP应用涉及更多的
频繁读写，更多的考虑IOPS；

    IOPS测试结果与很多测试参数和存储系统具体配置有关。IOPS还可以细分为100%顺序读(Sequential Read)IOPS、100%顺序
写IOPS、100%随机读IOPS、100%随机写IOPS等，在同等情况下这四种IOPS中100%顺序读的IOPS最高。

    厂商公布的经常是IOPS很高的100%顺序读IOPS指标，但多数用户实际使用的环境既有顺序读写、也有随机读写操作;传输数
据块尺寸大小都有;所以产品在用户实际使用环境中性能自然就比标注的指标差。

    较权威的存储性能基准测试：SPC和SPC-1 IOPS™
    SPC（Storage Performance Council）即存储性能理事会。
    SPC的SPC-1基准测试主要是针对随机I/O应用环境的，SPC-2基准测试主要是针对顺序I/O应用环境的。SPC-1基准测试很好地
模拟了OLTP、数据库和e-mail等真实应用环境，使SPC-1基准测试结果具有很高权威性和可比性。

    SPC-1基准测试虽然规定了严格的顺序和随机读写比例和数据块尺寸以及在何种磁盘负载情况下取值，但没有规定被测存储
产品使用多少个磁盘，也没有规定被测存储产品设置何种RAID级别。好在存储性能理事会(SPC)要求测试报告必须详细地列出被
测存储系统的配置和价格。

    SPC网站(http://www.storageperformance.org/results)上公布了大多数存储厂商的存储产品的SPC-1基准测试报告，通过
查询这些报告中的SPC-1 IOPS™值和测试报告中所描述的被测存储产品的磁盘总数，用户就可以根据下列公式快速估算你所采购
配置的某一存储产品实际性能和可靠性:

　　·实际性能(实际SPC-1 IOPS™)= [实际采购存储系统的磁盘数 / 测试报告中被测系统的磁盘数] X 测试报告的SPC-1 IOPS™
　　·可靠性:MTTFarray=MTTFdisk / 实际采购存储系统的磁盘数

 

throughput：指的是单位时间内最大的I/O流量；一些大量的顺序文件访问，例如流媒体，更多的考虑throughput指标。

 

 带宽决定于整个阵列系统，与所配置的磁盘个数也有一定关系；而IOPs则基本由阵列控制器完全决定。在Web、E-mail、
 数据库等小文件频繁读写的环境下，性能主要由IOPs决定。在视频、测绘等大文件连续读写的环境下，性能主要由带宽
 决定。可见，在不同的应用方式中，需要考察的侧重点也不同。对NAS产品来说，主要性能指数也是两个：OPS和ORT，分
 别代表每秒可响应的并发请求数和每个请求的平均反应时间。对磁带存储设备来说，单个磁带驱动器的读写速度是最重
 要的性能指标。

 

 

 

 

--end---