DMA过程分析

1.1  

当我们在应用程序中编写write系统调用，向磁盘中写入数据时，写入请求会先调用底层写函数，将请求先写入内存中的页高速缓存（page cache）中，写入成功则立刻返回，真正的写入磁盘操作会延迟执行。Page cache是硬盘在内存中的一个缓存，是linux内核所使用的主要磁盘高速缓存，在绝大多数情况下，内核在读写磁盘时都引用page cache（极少数应用会绕过页高速缓存，如数据库软件）。

当把page cache中的一页数据写到块设备之前，内核首先检查对应的页是否已经在高速缓存中，如果不在，就要先在其中增加一个新项，并用要写到磁盘中的数据填充该项。I/O数据的传送并不是马上开始，而是要延迟几秒后才对磁盘进行更新，从而使进程有机会对要写入磁盘的数据做进一步的修改（也就是内核进行延迟写操作）。

当内核以文件系统、虚拟内存子系统或者系统调用的形式决定从块I/O设备输入、输出块数据时，它将再结合一个bio结构，用来描述这个操作。该结构被传递给 I/O代码，代码会把它合并到一个已经存在的request结构中，或者根据需要，再创建一个新的request结构。bio结构包含了驱动程序执行请求的全部信息，而不必与初始化这个请求的用户空间的进程相关联。

内核中块设备的I/O操作基本容器由bio结构体表示，定义在<linux/bio.h>中，该结构体代表了正在现场的（活动的）以片段（segment）链表形式组织的块I/O操作。一个片段是一小块连续的内存缓冲区。这样的好处就是不需要保证单个缓冲区一定要连续。所以通过片段来描述缓冲区，即使一个缓冲区分散在内存的多个位置上，bio结构体也 能对内核保证I/O操作的执行，这样的就叫做聚散I/O（scatter/gather）.

bio为通用层的主要数据结构，既描述了磁盘的位置，又描述了内存的位置，是上层内核vfs与下层驱动的连接纽带。

struct bio {

sector_t        bi_sector;//该bio结构所要传输的第一个（512字节）扇区：磁盘的位置

struct bio        *bi_next;    //请求链表

struct block_device    *bi_bdev;//相关的块设备

unsigned long        bi_flags//状态和命令标志

unsigned long        bi_rw; //读写

unsigned short        bi_vcnt;//bio_vesc偏移的个数

unsigned short        bi_idx;    //bi_io_vec的当前索引

unsigned short        bi_phys_segments;//结合后的片段数目

unsigned short        bi_hw_segments;//重映射后的片段数目

unsigned int        bi_size;    //I/O计数

unsigned int        bi_hw_front_size;//第一个可合并的段大小;

unsigned int        bi_hw_back_size;//最后一个可合并的段大小

unsigned int        bi_max_vecs;    //bio_vecs数目上限

struct bio_vec        *bi_io_vec;    //bio_vec链表：内存的位置

bio_end_io_t        *bi_end_io;//I/O完成方法

atomic_t        bi_cnt; //使用计数

void           *bi_private; //拥有者的私有方法

bio_destructor_t    *bi_destructor;    //销毁方法

};

 

文件系统需要写到硬盘的数据保存在page cache里面，那么这个过程又是怎么和dma建立关系的呢？

 

DMA写磁盘过程概述：

若硬盘支持DMA，并且在操作系统中打开了DMA，则每次读写磁盘，都会涉及到DMA操作。虽然文件系统对硬盘的I/O请求不是连续的，数据所在的物理内存页也是不连续的，但是操作系统会将这些不连续的内存页组合到一起，再启用DMA操作（启用DMA的过程开销较大，需要设置一系列寄存器），那么这些数据就能够一次传输完成，这样也就能高效的传输数据。内核中有个物理设备描述符表（physical region descriptor table，PRDT），要进行数据的传输必需将相应的物理页以及物理页内数据长度填充到PRDT里面。，PRDT结构如下：

Figure 1说明：

每个PRDT大小为8字节，0-3字节说明物理页的内存地址，4-5字节说明内存区域的数量，以字节为单位，全零表示64K大小。最后一个字节的最后一位表示PRDT表的结束。

scsi层的scsi_init_io函数把bio封装，然后将其映射给DMA的scatterlist结构体，该结构体即PRDT中的一项，（内核中dma_desc_array对应PRDT），用来指向每个内存块。剩余工作就是设置DMA寄存器，然后发送，我们后面将详细分析该部分代码。

 

以下是write系统调用内核态处理函数的路径：

经过一系列处理，write系统调用处理结束后，若需要写磁盘数据最终会经过以下路径：

scsi_scan_target（scsi扫面函数）——》__scsi_scan_target ——》scsi_sequential_lun_scan ——》scsi_probe_and_add_lun ——>scsi_alloc_sdev ——》scsi_alloc_queue（scsi分配队列），从这里分开，一条路径是设置DMA并发送命令到DMA控制器（路径一），另一条是初始化函数路径（路径二）。

路径一：scsi_request_fn——>scsi_dispatch_cmd——》scsi_log_send——》（.queuecommand           =ata_scsi_queuecmd,）ata_scsi_queuecmd——》__ata_scsi_queuecmd——》ata_scsi_translate——》ata_qc_issue——》ata_bmdma_qc_issue——》(bfin_bmdma_setup：设置DMA寄存器/ bfin_bmdma_start：开始DMA)

路径二：scsi_prep_fn——>scsi_setup_blk_pc_cmnd ——》scsi_init_io ——》scsi_init_sgtable ——》blk_rq_map_sg(该函数的参数request这个结构体封装了bio结构体).

以下主要分析bfin_bmdma_setup和bfin_bmdma_start函数，即DMA操作过程：

（1）    软件准备好一个PRD Table放在内存中，每个8字节，对齐到4字节边界。

（2）    软件把PRD table的起始地址设置好，同时通过设置读/写控制位设置数据和传输方向，清除状态寄存器中的中断位和错误位。

（3）    软件发出DMA传送指令到disk设备。

（4）    向总线控制器IDE命令寄存器的对应通道中写入1，使能总线控制器。

（5）    DMA从IDE设备中请求控制器传送数据到/从内存中

（6）    传送结束，IDE设备发出中断

（7）    接收到中断后，软件设置命令寄存器的开始/结束位，然后先后读控制器状态、驱动状态，进而确定是否传送成功。

代码如下：