Raid1源代码分析--读流程

　　这篇博文不足之处较多，重新整理了一下，链接：http://www.cnblogs.com/fangpei/p/3890873.html

　　我阅读的代码的linux内核版本是2.6.32.61。刚进实验室什么都不懂，处于摸索阶段，近期的任务就是阅读raid1的源码。第一次接触raid相关的东西，网上分析源码的资料又比较少，不详细。逐行阅读代码，做了笔记。如果要对raid1的读流程有个整体上的把握，需要将笔记中的主线提炼出来，这里不写了。理解不足或者有误之处，希望批评指正。

　　读流程主要涉及以下函数：

　　　　请求函数make_request

　　　　读均衡read_balance

　　　　回调函数raid1_end_read_request

　　　　读出错处理raid1d

　　　　尝试修复读出错fix_read_error

　　下面具体分析raid1的读流程。

请求函数make_request

　　读请求封装成bio后，由md设备的md_make_request下发请求，md又发给具体的设备raid1，对应raid1的make_request函数，下面将从raid1的make_request开始理解该部分的流程。

　　1.  如果访问要求设置barrier，而设备不支持设置barrier，则结束bio，立即返回。

　　2.  等待设备上的barrier消除。

　　注：当md收到一个barrier bio请求时，md会先把在该barrier bio之前到达的bio完成，然后再完成barrier bio，之后再处理在barrier bio之后到达的bio。barrier是通过conf->barrier来完成设置。

　　这儿的barrier是上一个请求设置的barrier，也就是等待上一个请求处理“结束”，注意此时的“结束”不一定是上一个请求真的完全结束，而有可能设置了behind write模式，在写完除了非WriteMostly，则通知r1_bio的state为UpToDate（有效的，可以进行后面的请求处理）。

　　同步一定会设置barrier，代码中有raise_barrier(conf)；该障碍在同步结束后end_sync_write中调用put_buf操作conf->barrier来清除。写请求由用户请求本身决定是否设置barrier。

　　3.  申请一个r1_bio结构（该结构主要用于管理raid1的bio），该结构中有一个数组bios数组指向对应各磁盘的bio。

　　4.  调用read_balance算法，获取读目标的盘号rdisk。（具体分析见下一节）

　　5.  如果获取的盘号为错误盘号（即-1），表示目前不能获取读目标，那么结束这个bio（调用raid_end_bio_io(r1_bio)），返回。

　　6.  通过盘号rdisk和指针数组首地址conf->mirrors得到读目标的mirror_info结构指针mirror。

　　7.  通过mirror->rdev->flags可以知道该磁盘是否设置了WriteMostly属性。如果设置了WriteMostly，则通过bitmap可以知道是否仍然还有延迟写。如果延迟写还没结束，那么等待延迟写结束。其他的情况都不处理，直接往下走。

　　8.  将读目标盘号赋值给r1_bio->read_disk。

　　9.  将接受到的上层bio（读请求）复制一份，指针read_bio和r1_bio->bios[rdisk]都指向该bio。

　　10.设置该read_bio的相关属性，使得符合r1_bio结构的要求，比如读写属性，盘阵上哪个盘，盘的扇区，从而让它能正确下发到下层，最终找到相应的读目标盘；也设置了结束请求函数raid1_end_read_request。

　　11.  下发read_bio。

 

读均衡read_balance

　　这个算法是用来做读均衡的，在raid1中涉及到的读操作均会使用到该算法。入口参数为raid1的私有数据结构*conf和raid1管理bio的结构*r1_bio，具体流程分析如下：

　　1.  如果盘阵正在进行同步操作，并且访问落在同步窗口中，按照下面的子流程选出盘号。则进入下面的步骤2来处理，否则进入步骤3。

　　注：conf->mddev->recovery_cp < MaxSector，表示盘阵正在同步。代码中MaxSector的值为扇区数量的上限，而conf->mddev->recovery_cp表示正在进行同步的扇区号，所以自然就约定没有进行同步的时候conf->mddev->recovery_cp = MaxSector。

　　扇区号加扇区数等于最后一个要读的扇区+1，如果大于等于下一个要同步的扇区，则说明落在同步窗口之中。

　　　1.1  从last_used的磁盘开始，循环遍历盘阵中每个盘（2个盘），选出第一个正确的盘。

　　　　1.1.1  如果盘之前读失败（IO_BLOCKED）（在所有磁盘，都不能读的时候。由于之前为读写状态，所以可能因为写或者同步的原因造成的阻塞），或者盘不存在（之前为只读，但是还是读失败了），或者可能需要同步（In_sync=0），或者是WriteMostly盘，则继续循环。

　　　　1.1.2  如果是WriteMostly盘，则记录下wonly为该盘号。

　　　　1.1.3  如果所有盘遍历完（其实就是第2块盘）还是没有跳出循环，那么只好将WriteMostly盘的盘号选择出来（如果有的话），或者选出一个错误盘号（wonly的初始值-1）。跳出循环。

　　　1.2  如果选出的是一个错误盘号，那么直接出错返回。

　　　1.3  如果选出的盘号是正确的，那么继续下面的流程。

　　　　（选出的盘号记录在new_disk中）

　　2.  如果选出盘new_disk的磁头位置正好位于本次操作的起点，那么就直接确定为盘号new_disk。分别有如下两种情况：　

　　　2.1  一种是上次读均衡算法结束之后就更新了conf->next_seq_sect。

　　　2.2  一种是上次成功读写（包括同步读写）完成后，通过pdate_head_pos来更新了conf->mirrors[new_disk]. head_position。

　　3.  如果选出盘new_disk的磁头和本次操作的起点不一样。disk作为循环控制的磁盘号，new_disk作为返回的磁盘号。

　　　3.1  首先将disk--，变成其他盘号，与上次读的盘号不同。（我觉得这里体现均衡）

　　　3.2  如果盘之前读失败（IO_BLOCKED）（在所有磁盘，都不能读的时候。由于之前为读写状态，所以可能因为写或者同步的原因造成的阻塞），或者盘不存在（之前为只读，但是还是读失败了），或者可能需要同步（In_sync=0），或者是WriteMostly盘，则继续循环。

　　　3.3  如果磁盘上无等待的操作，那么确定为该磁盘盘号，跳出循环。

　　　3.4  如果所有磁盘都有等待操作，那么找到当前磁头位置和本次操作位置最为接近的磁盘盘号。（通过current_distance 和new_distance来控制，current_distance是到目前为止最近的距离，new_distance是最新加入的一个最近距离）

　　4.  如果选出盘rdev不存在，那么重新执行read_balance算法。

　　5.  递增选出盘rdev的下发IO计数。

　　6.  如果到了这一步发现该盘的rdev->flags的设置In_sync（该盘可能需要同步），递减选出盘rdev的下发IO计数，那么重新执行read_balance算法。

　　7.  设置新的conf->next_seq_sect（下一个顺序读扇区），新的conf->last_used（最近一次使用的磁盘盘号）

　　8.  返回选出的磁盘号，即为读均衡磁盘。

 

回调函数raid1_end_read_request

1. 如果bio的状态为有效（BIO_UPTODATE），那么设置uptodate为1。
2. 调用update_head_pos(mirror, r1_bio)更新当前盘的磁头位置。
3. 如果bio的状态为有效，设置r1_bio的状态也为有效（R1BIO_Uptodate），并调用raid_end_bio_io结束这个bio。
4. 如果bio的状态不是有效，并且所有盘都处于降级状态，或者只有一个盘处于正常状态但是该盘出错，那么设uptodate为1（这里不是表示状态为有效，而是表示不用retry了），然后调用raid_end_bio_io结束这个bio。
5. 其他情况则表示读出错了。并将r1_bio放入retry队列，转由守护进程处理。通过reschedule_retry(r1_bio)调用wake_up(&conf->wait_barrier)。
6. 递减选出盘rdev的下发IO计数。

 

读出错处理raid1d

　　raid1d是守护进程，很多情况都会切换到该进程，而该进程描述了这些不同种情况下的处理流程。先处理激活同步守护进程，再提交pending_bio_list的所有请求，再一个一个的提交retry_list的r1_bio。判断r1_bio->state，如果是R1BIO_IsSync，则转入同步写流程；如果是R1BIO_BarrierRetry，这个情况只发生在写操作，则转入处理barrier的流程；如果是其他情况，则是读出错，进入读失败处理流程。下面分析读出错的处理流程。

1. 如果md是读写状态。

　　　　1.1  冻结盘阵。调用freeze_array(conf)实现。

　　　　　　1.1.1  通过barrier计数挡住所有新的I/O。　

　　　　　　1.1.2  把触发freeze_array的I/O(即失败的readI/O)加到wait计数。

　　　　　　1.1.3  等待所有已经进入raid1层的I/O完成。

　　　　　　　　这里等待的事件是“所有已进入raid1的readI/O挂入retry表，所有已进入raid1的writeI/O完成写动作。”

　　　　1.2  尝试修复读出错。调用fix_read_error()实现。

　　　　1.3  解冻盘阵。调用unfreeze_array(conf)实现。

　　2.  如果md是只读状态，那么失效（md_error）读目标盘。

　　3.  重新调用读均衡算法，得到一个盘号disk。

　　4.  如果返回的盘号仍然为负值，那么表示无法恢复读出错，调用raid_end_bio_io结束这个bio。

　　5.  如果返回盘号为正常值，那么根据是否只读，设置原读出错的盘指针为IO_BLOCKED或者NULL。

　　6.  设置r1_bio->read_disk为新的读目标盘号disk。

　　7.  Put掉原bio，bio_put(bio)。

　　8.  将master_bio复制一份给bio，并用r1_bio->bios[r1_bio->read_disk指向该bio。

　　9.  设置该bio，并将回调函数设置为raid1_end_read_request，下发该bio。

　　10. cond_resched()如果有进程要抢占，则切换进程；如果不是，则继续循环。

 

尝试修复读出错fix_read_error

1. 大循环，判断条件为sectors不为0，进入循环。
2. 将需要处理的扇区数sectors复制给变量s，将读目标盘号read_disk赋值给d。
3. 控制s的大小在 PAGE_SIZE>>9 以内。
4. 从read_disk开始遍历盘阵中的每个盘。找到一个可以读这次page的盘，记录盘号为d，并读出来置于conf->tmppage中，跳出循环；或者没有可以读的盘，跳出循环。
5. 如果没有可以读的盘，那么失效（md_error）原读目标盘，退出大循环，返回。
6. 从步骤4中选出d号盘，往回遍历，直到read_disk。将conf->tmppage依次写入这些盘中。如果某次磁盘写入错误，那么失效（md_error）该次写入的磁盘。
7. 从步骤4中选出d号盘，往回遍历，直到read_disk。将conf->tmppage依次从这些盘中读出。

　　　　7.1  如果某次磁盘写入错误，那么失效（md_error）该次写入的磁盘。

　　　　7.2  如果某次磁盘写入正确，那么该次磁磁盘对该大循环对应的page修复成功。

　　8.  判断条件sectors = sectors – s，每次循环的sync_page_io起点标记sect = sect+1。进入下一个循环。

 

　　raid1还有写流程和同步流程，以后再记录下来。努力让自己尽快入门，加油！