AIX本地磁盘io优化

什么是磁盘的IO？
当一块磁盘被格式化后，会被分成上百个磁道（tracks），每个磁道又将被分割成许多扇区（sectors），一般都是512 bytes。上下一串盘片中，相同半径的磁道所组成的一个圆柱型的环壁，就称为柱面。

磁带的读写过程主要包括三个部分：
寻道时间：磁盘头从原始位置径直移动到目标数据所在的磁道的时间（平均是8毫秒）
旋转延迟时间：通过盘片的旋转，使得要读取的扇区转到读写头的下方的时间。这个时间取决磁盘的转数，比如一块7200（转/分钟）的硬盘，120转/秒，一转大概需要8毫秒，平均旋转延迟是4毫秒。
传输时间：磁盘传输数据的时间，这个取决于磁盘接口速率，SATA、FC、SAS盘的接口带宽都各不相同。比如2Gb/s的带宽，8K的数据块大概只需要0.004毫秒。

磁盘的IO=寻道时间+旋转延迟时间+传输时间

 

一块已经固定磁盘无法去变更旋转速率和传输时间，只能通过优化数据的存放位置来减少寻道时间和平均旋转延迟，从而加快磁盘的IO 速率。

 

AIX下的磁盘结构：

AIX操作系统将PV划分成5个区域，这些区域与他们在硬盘磁盘自身上的位置对应：外侧边缘（out edge）、外侧中间(outer middle)、中心(center)、内侧中间(inner middle)和内侧边缘(inner edge)。

PP是由一组大量的连续扇区组成，从1开始编号，out edge到inner edge根据磁盘的大小被分成了一定数量的PP数。5个区域分配的PP数量大致相等。如下：

# lspv -p hdisk1
hdisk1:
PP RANGE STATE REGION LV NAME TYPE MOUNT POINT
1-1 used outer edge hd5 boot N/A
2-76 used outer edge fslv01 jfs2 /oracle
77-102 free outer edge
103-110 used outer edge lg_dumplv sysdump N/A
111-210 used outer middle hd6 paging N/A
211-211 used outer middle fwdump jfs2 /var/adm/ras/platform
212-213 used outer middle livedump jfs2 /var/adm/ras/livedump
214-218 used outer middle fslv01 jfs2 /oracle
219-219 used outer middle hd11admin jfs2 /admin
220-220 used center hd8 jfs2log N/A
221-239 used center hd2 jfs2 /usr
240-243 used center hd9var jfs2 /var
244-323 used center hd3 jfs2 /tmp
324-324 used center hd1 jfs2 /home
325-328 used center hd10opt jfs2 /opt
329-330 used inner middle hd4 jfs2 /
331-437 free inner middle
438-464 free inner edge
465-504 used inner edge testlv jfs2 /test
505-546 free inner edge

总共有546个PPS：
outer edge的PPS=110
outer middle的PPS=109
center的PPS=109
inner middle的PPS=109
inner edge的PPS=109
其中/oracle 文件系统对应fslv01的被分配到了2个区域，前5个PP在outer middle区域，其他PP在out edge中。

[html] viewplaincopyprint?

1. # lslv -p hdisk1 fslv01

2. hdisk1:fslv01:/oracle

3. USED 0006 0007 0008 0009 0010 0011 0012 0013 0014 1-10

4. 0015 0016 0017 0018 0019 0020 0021 0022 0023 0024 11-20

5. 0025 0026 0027 0028 0029 0030 0031 0032 0033 0034 21-30

6. 0035 0036 0037 0038 0039 0040 0041 0042 0043 0044 31-40

7. 0045 0046 0047 0048 0049 0050 0051 0052 0053 0054 41-50

8. 0055 0056 0057 0058 0059 0060 0061 0062 0063 0064 51-60

9. 0065 0066 0067 0068 0069 0070 0071 0072 0073 0074 61-70

10. 0075 0076 0077 0078 0079 0080 FREE FREE FREE FREE 71-80

11. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 81-90

12. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 91-100

13. FREE FREE USED USED USED USED USED USED USED USED 101-110

14.  

15. USED USED USED USED USED USED USED USED USED USED 111-120

16. USED USED USED USED USED USED USED USED USED USED 121-130

17. USED USED USED USED USED USED USED USED USED USED 131-140

18. USED USED USED USED USED USED USED USED USED USED 141-150

19. USED USED USED USED USED USED USED USED USED USED 151-160

20. USED USED USED USED USED USED USED USED USED USED 161-170

21. USED USED USED USED USED USED USED USED USED USED 171-180

22. USED USED USED USED USED USED USED USED USED USED 181-190

23. USED USED USED USED USED USED USED USED USED USED 191-200

24. USED USED USED USED USED USED USED USED USED USED 201-210

25. USED USED USED 0001 0002 0003 0004 0005 USED 211-219

26.  

27. USED USED USED USED USED USED USED USED USED USED 220-229

28. USED USED USED USED USED USED USED USED USED USED 230-239

29. USED USED USED USED USED USED USED USED USED USED 240-249

30. USED USED USED USED USED USED USED USED USED USED 250-259

31. USED USED USED USED USED USED USED USED USED USED 260-269

32. USED USED USED USED USED USED USED USED USED USED 270-279

33. USED USED USED USED USED USED USED USED USED USED 280-289

34. USED USED USED USED USED USED USED USED USED USED 290-299

35. USED USED USED USED USED USED USED USED USED USED 300-309

36. USED USED USED USED USED USED USED USED USED USED 310-319

37. USED USED USED USED USED USED USED USED USED 320-328

38.  

39. USED USED FREE FREE FREE FREE FREE FREE FREE FREE 329-338

40. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 339-348

41. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 349-358

42. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 359-368

43. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 369-378

44. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 379-388

45. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 389-398

46. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 399-408

47. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 409-418

48. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 419-428

49. FREE FREE FREE FREE FREE FREE FREE FREE FREE 429-437

50.  

51. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 438-447

52. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 448-457

53. FREE FREE FREE FREE FREE FREE FREE USED USED USED 458-467

54. USED USED USED USED USED USED USED USED USED USED 468-477

55. USED USED USED USED USED USED USED USED USED USED 478-487

56. USED USED USED USED USED USED USED USED USED USED 488-497

57. USED USED USED USED USED USED USED FREE FREE FREE 498-507

58. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 508-517

59. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 518-527

60. FREE FREE FREE FREE FREE FREE FREE FREE FREE FREE 528-537

61. FREE FREE FREE FREE FREE FREE FREE FREE FREE 538-546

# lslv -phdisk1 fslv01

hdisk1:fslv01:/oracle

USED      0006     0007      0008      0009     0010      0011      0012     0013      0014            1-10

0015      0016     0017      0018      0019     0020      0021      0022     0023      0024            11-20

0025      0026     0027      0028      0029     0030      0031      0032     0033      0034            21-30

0035      0036     0037      0038      0039     0040      0041      0042     0043      0044            31-40

0045      0046     0047      0048      0049     0050      0051      0052     0053      0054            41-50

0055      0056     0057      0058      0059     0060      0061      0062     0063      0064            51-60

0065      0066     0067      0068      0069     0070      0071      0072     0073      0074            61-70

0075      0076     0077   0078      0079     0080      FREE      FREE     FREE      FREE               71-80

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE            81-90

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE            91-100

FREE      FREE     USED      USED      USED     USED      USED      USED     USED      USED          101-110

 

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          111-120

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          121-130

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          131-140

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          141-150

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          151-160

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED         161-170

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          171-180

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          181-190

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          191-200

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          201-210

USED      USED     USED      0001      0002     0003      0004      0005     USED                    211-219

 

USED      USED     USED      USED     USED      USED      USED     USED      USED      USED          220-229

USED      USED     USED   USED      USED     USED      USED      USED     USED      USED          230-239

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          240-249

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          250-259

USED      USED     USED      USED      USED    USED      USED      USED     USED      USED          260-269

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          270-279

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          280-289

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          290-299

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          300-309

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          310-319

USED      USED     USED      USED      USED     USED      USED      USED     USED                     320-328

 

USED      USED     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          329-338

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          339-348

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          349-358

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          359-368

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          369-378

FREE      FREE     FREE      FREE     FREE      FREE      FREE  FREE      FREE      FREE             379-388

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          389-398

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          399-408

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE     FREE          409-418

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          419-428

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE                    429-437

 

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          438-447

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          448-457

FREE      FREE     FREE      FREE      FREE     FREE      FREE      USED     USED      USED          458-467

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          468-477

USED      USED    USED      USED      USED     USED      USED      USED     USED      USED           478-487

USED      USED     USED      USED      USED     USED      USED      USED     USED      USED          488-497

USED      USED     USED      USED      USED     USED      USED      FREE     FREE      FREE          498-507

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          508-517

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          518-527

FREE      FREE     FREE      FREE      FREE     FREE      FREE      FREE     FREE      FREE          528-537

FREE      FREE     FREE      FREE     FREE      FREE      FREE     FREE      FREE                    538-546

由于中心是磁盘头经常通过的区域，所以越靠近中心，寻道时间就越短，从而加快整体的IO。而在out edge或者inner edge 的数据需要花费的寻道时间较长，从而导致应用程序的响应缓慢。

虽然outer edge的寻道时间长，但是由于在圆的外道，圆周的速度最快，所以outer edge的顺序读写速度更快些。

 

下面测试下：

先将/dev/ fslv01的前5个pp移到out edge中：

 

#migratelp fslv01/1 hdisk1/77
# migratelp fslv01/2 hdisk1/78
# migratelp fslv01/3 hdisk1/79
#migratelp fslv01/4 hdisk1/80
# migratelp fslv01/5 hdisk1/81

# lspv -p hdisk1
hdisk1:
PP RANGE STATE REGION LV NAME TYPE MOUNT POINT
1-1 used outer edge hd5 boot N/A
2-81 used outer edge fslv01 jfs2 /oracle
82-102 free outer edge
103-110 used outer edge lg_dumplv sysdump N/A
111-210 used outer middle hd6 paging N/A
211-211 used outer middle fwdump jfs2 /var/adm/ras/platform
212-213 used outer middle livedump jfs2 /var/adm/ras/livedump
214-218 free outer middle
219-219 used outer middle hd11admin jfs2 /admin
220-220 used center hd8 jfs2log N/A
221-239 used center hd2 jfs2 /usr
240-243 used center hd9var jfs2 /var
244-323 used center hd3 jfs2 /tmp
324-324 used center hd1 jfs2 /home
325-328 used center hd10opt jfs2 /opt
329-330 used inner middle hd4 jfs2 /
331-437 free inner middle
438-464 free inner edge
465-504 used inner edge testlv jfs2 /test
505-546 free inner edge

/oracle 文件系统已经全部位于out edge中了，选择/oracle/tmp /test 进行测试：

 

先对outer edge进行测试：
#time dd if=/dev/zero of=/oracle/test bs=1024k count=4096
real 0m46.03s
user 0m0.03s
sys 0m11.36s
消耗时间为：46.03秒
Topas监控到的磁盘IO 为88.6M


接着对center进行测试：
#time dd if=/dev/zero of=/tmp/test bs=1024k count=4096
real 0m53.29s
user 0m0.02s
sys 0m12.16s
消耗时间为：53.29s秒
Topas监控到的磁盘IO 为77M

最后看下inner edge：
#time dd if=/dev/zero of=/test/test bs=1024k count=4096
real 1m5.75s
user 0m0.02s
sys 0m12.43s

消耗时间为：1分5.75秒

Topas监控到的磁盘IO 只有62M

 

由此看出，对于顺序读写，Outer edge的确有很大的优势。再来做一个测试，将oracle的lv拆分到多个区域,进行测试,类似如下：

[html] viewplaincopyprint?

1. # for i in 2 3 4 5 6 7 8 9

2. > do migratelp fslv01/$i hdisk1/33$i

3. > done

4. migratelp: Mirror copy 1 of logical partition 2 of logical     volume

5. fslv01 migrated to physical partition 332 of hdisk1.

6. migratelp: Mirror copy 1 of logical partition 3 of logical     volume

7. fslv01 migrated to physical partition 333 of hdisk1.

8. migratelp: Mirror copy 1 of logical partition 4 of logical     volume

9. fslv01 migrated to physical partition 334 of hdisk1.

10. migratelp: Mirror copy 1 of logical partition 5 of logical     volume

11. fslv01 migrated to physical partition 335 of hdisk1.

12. migratelp: Mirror copy 1 of logical partition 6 of logical     volume

13. fslv01 migrated to physical partition 336 of hdisk1.

14. migratelp: Mirror copy 1 of logical partition 7 of logical     volume

15. fslv01 migrated to physical partition 337 of hdisk1.

16. migratelp: Mirror copy 1 of logical partition 8 of logical     volume

17. fslv01 migrated to physical partition 338 of hdisk1.

18. migratelp: Mirror copy 1 of logical partition 9 of logical     volume

19. fslv01 migrated to physical partition 339 of hdisk1.

# for iin    2 3 4 5 6 7 8 9 

> domigratelp fslv01/$i hdisk1/33$i

> done

migratelp:Mirror copy 1 of logical partition 2 of logical volume

                fslv01 migrated to physicalpartition 332 of hdisk1.

migratelp:Mirror copy 1 of logical partition 3 of logical volume

                fslv01 migrated to physicalpartition 333 of hdisk1.

migratelp:Mirror copy 1 of logical partition 4 of logical volume

                fslv01 migrated to physicalpartition 334 of hdisk1.

migratelp:Mirror copy 1 of logical partition 5 of logical volume

                fslv01 migrated to physicalpartition 335 of hdisk1.

migratelp:Mirror copy 1 of logical partition 6 of logical volume

                fslv01 migrated to physicalpartition 336 of hdisk1.

migratelp:Mirror copy 1 of logical partition 7 of logical volume

                fslv01 migrated to physicalpartition 337 of hdisk1.

migratelp:Mirror copy 1 of logical partition 8 of logical volume

                fslv01 migrated to physicalpartition 338 of hdisk1.

migratelp:Mirror copy 1 of logical partition 9 of logical volume

                fslv01 migrated to physicalpartition 339 of hdisk1.

 

查看下/oracle 文件系统的pp分布：

 

#lspv -p hdisk1
hdisk1:
PP RANGE STATE REGION LV NAME TYPE MOUNT POINT
1-1 used outer edge hd5 boot N/A
2-36 free outer edge
37-59 used outer edge fslv01 jfs2 /oracle
60-66 free outer edge
67-84 used outer edge fslv01 jfs2 /oracle
85-86 free outer edge
87-102 used outer edge fslv01 jfs2 /oracle
103-110 used outer edge lg_dumplv sysdump N/A
111-210 used outer middle hd6 paging N/A
211-211 used outer middle fwdump jfs2 /var/adm/ras/platform
212-213 used outer middle livedump jfs2 /var/adm/ras/livedump
214-218 used outer middle fslv01 jfs2 /oracle
219-219 used outer middle hd11admin jfs2 /admin
220-220 used center hd8 jfs2log N/A
221-239 used center hd2 jfs2 /usr
240-243 used center hd9var jfs2 /var
244-323 used center hd3 jfs2 /tmp
324-324 used center hd1 jfs2 /home
325-328 used center hd10opt jfs2 /opt
329-330 used inner middle hd4 jfs2 /
331-339 used inner middle fslv01 jfs2 /oracle
340-437 free inner middle
438-464 free inner edge
465-504 used inner edge testlv jfs2 /test
505-510 free inner edge
511-519 used inner edge fslv01 jfs2 /oracle
520-546 free inner edge

/oracle 目录被分配到了4个区域，测下顺序IO：
#time dd if=/dev/zero of=/oracle/test bs=1024k count=4096
real 0m53.32s
user 0m0.02s
sys 0m12.60s
IO 速度有所下降。如果是随机IO，磁盘头进行的寻道时间会大大的增加，IO 的速率就会受到很大的影响。

 

优化规则:

通过以上的磁盘寻道原理和AIX的LVM磁盘管理方式，优化本地磁盘应该遵循以下规则：

1. 让 LV 尽可能保持连续。当文件系统数据分散在一个磁盘上时，硬盘头需要花费更长的时间在寻道时间和旋转延迟上。如果 LV 存在于一个连续的区域，会最大程度地缩短搜索时间，更快地找到文件。这就要求最好是一次性建好足够大的LV,而不是经常去扩空间。

2. 将具有高 I/O、顺序读取或写入操作的LV 放在外侧边缘。由于磁盘外侧边缘的速度因素，如果 LV 需要更快读取或写入较长序列（比如大型静态文件或数据表内容）中的数据，外侧边缘的更高旋转速度会有所帮助。
3.将具有高活跃度的 LV 放在靠近中心位置。如果您有一个文件系统具有大量读取和写入操作，并且需要快速响应，尽量分布在中心附近。如果空间足够将swap空间也放在该区域。
4.将使用率较低的 LV 放在内部边缘附近。如果您的文件系统很少使用或访问，那么可以将它们放在具有最低 I/O 速度的磁盘区域内（内部边缘上接近主轴的区域）。例如，很少使用的逻辑卷很适合放在这里。
5. 当存在多个swap 分区时，一块磁盘最好只分配一个swap分区，而且大小要相等，从而减少跨区域的lv操作，增大IO 负担。
6.如果可能将两个磁盘分别创建一个独立的分页空间 LV，那么每个磁盘均可解决内存交换，效率将会翻倍。
7.尽可能分散 I/O 负载，以提高性能和冗余。如果您有一个较大的系统具有多个硬盘，可以通过将数据分散在一组磁盘组合中开利用它们。如果您选择镜像您的 PV，可以在多个硬盘上这么做，以便如果一个磁盘抽屉（drawer）出现故障，冗余不会限制到一个硬盘。参考参数range of physical volumes（minimum、maximum）

磁盘优化的常用工具：

 

查看工具：

1. 使用lsvg 查看VG的信息

查看所有的VG

#lsvg

查看激活的VG

#lsvg –o

查看VG的总体信息：

#lsvg rootvg

查看VG中lv的信息

# lsvg -l rootvg

查看VG在PV中的分布

#lsvg –p rootvg

2.lspv用来查看某块磁盘的信息，如PVID、PP的大小、包含的LV数目、5个区域中PP的使用情况等等。如：

查看PV总体信息：

# lspv -L hdisk1

查看PV中LV的LPs、PPs、以及5个区域的总体分布大小

# lspv -l hdisk1

详细查看PV中每个PP的使用情况:

#lspv –p hdisk1

3. lslv用来查看某个LV的特征、状态以及其PPs在PV中的详细分布

查看LV的总体信息：

#lslv –L fslv01

查看LV在PV中的分布信息：

#lslv –p hdisk1 fslv00

查看LV的镜像在各个磁盘上的分布

#lslv –l fslv00

查看LV的LP对应的PP的分布信息

#lslv –m fslv00

迁移工具：

1. chlv、smit chlv用来更改LV的属性，及PP在PV上的分布，使得LV的PP尽可能变的连续。

#chlv -a e -e x -r y -s n -u 5 fslv00

2. migratepv用来迁移PV上的LV到其他PVs上 比如将hdisk1上的LV迁移到hdisk6和hdisk7上

#migratepv hdisk1 hdisk6 hdisk7

将lv01 从hdisk1迁移到hdisk6

#migratepv –l lv01 hdisk1 hdisk6

 

3. migratelp用来迁移LV上的某个lp到指定的PV的pp上

比如将lv01 上的第一个LP迁移到 hdisk1上的第100个PP上

#migratelp lv01/1 hdisk1/100

将lv01 上的第3个LP的第二个镜像拷贝迁移到hdisk1上

#migratelp lv01/3/2 hdisk1

 

4. mirrorvg和unmirror

将vg生成3份镜像

#mirrorvg -c 3 datavg

生成默认镜像（2份）

#mirrorvg datavg

更换镜像的坏盘

#unmirrorvg datavg hdisk7

#reducevg datavg hdisk7

#rmdev -dl hdisk7

#extendvg datavg hdisk7

#mirrorvg datavg hdisk7

在指定的PV上生成镜像

#mirrorvg -m datavg hdisk2

将镜像工作放入后台运行

#mirrorvg –S workvg

5. Mklvcopy 用来单独将某个LV进行复制

比如将lv01 在hdisk1的middle区域创建一个镜像

#mklvcopy –a m –m lv01 hdisk1

 

6. reorgvg [-i],-i 参数用于3块以上PV重组，在重组时，临时文件存放在/tmp目录下确保/tmp目录的空间大小。

重组整个vg

#reoravg rootvg

重组指定LV

#reoravg rootvg lv01 lv02 v03

重组指定PV上的LV

#echo "hdisk4 hdisk6" | reorgvg-i vg02 lv203 lv205

转自：http://blog.csdn.net/lixz_2008/article/details/7855049