摄像头采集的数据,是通过buffer的形式传到驱动程序中,然后驱动程序使能CSI设备来采集数据。之后将采集到的数据再次通过buffer的形式传递给应用程序中。这个过程中使用了VIDIOC_REQBUFS,VIDIOC_QUERYBUF,VIDIOC_QBUF,VIDIOC_STREAMON和VIDIOC_DQBUF这些ioctl调用。下面就来具体分析这个流程。
1. 内核中的数据结构
内核中有关V4L2的头文件是/include/uapi/linux/videodev2.h文件。
1.1 v4l2_requestbuffers结构体:
enum v4l2_memory {
V4L2_MEMORY_MMAP = 1, //内核空间开辟缓冲区
V4L2_MEMORY_USERPTR = 2, //用户空间的应用中开辟缓冲区
V4L2_MEMORY_OVERLAY = 3,
V4L2_MEMORY_DMABUF = 4,
};
enum v4l2_buf_type {
V4L2_BUF_TYPE_VIDEO_CAPTURE = 1,
V4L2_BUF_TYPE_VIDEO_OUTPUT = 2,
V4L2_BUF_TYPE_VIDEO_OVERLAY = 3,
V4L2_BUF_TYPE_VBI_CAPTURE = 4,
V4L2_BUF_TYPE_VBI_OUTPUT = 5,
V4L2_BUF_TYPE_SLICED_VBI_CAPTURE = 6,
V4L2_BUF_TYPE_SLICED_VBI_OUTPUT = 7,
/* Experimental */
V4L2_BUF_TYPE_VIDEO_OUTPUT_OVERLAY = 8,
V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE = 9,
V4L2_BUF_TYPE_VIDEO_OUTPUT_MPLANE = 10,
/* Deprecated, do not use */
V4L2_BUF_TYPE_PRIVATE = 0x80,
};
struct v4l2_requestbuffers {
__u32 count;
__u32 type; /* enum v4l2_buf_type */
__u32 memory; /* enum v4l2_memory */
__u32 reserved[2];
};
这个v4l2_requestbuffers结构体用在VIDIOC_REQBUFSioctl中,它代表想要申请内存的属性。
count:代表想要申请的buffers的个数;
type:代表buffer的类型,对于capture设备来说,一般都是V4L2_BUF_TYPE_VIDEO_CAPTURE;
memory:关于这个memory的类型,是传输视频帧的方法,主要有两种方法,read,write方法和流I/O的方法。常用的是流I/O的方法,应用程序通过mmap系统调用映射到用户地址空间,从而使得用户和内核只需要交换缓冲区指针即可,不需要拷贝帧。
比如在应用程序中:
struct v4l2_requestbuffers req;
memset(&req, 0, sizeof (req));
req.count = TEST_BUFFER_NUM;
req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
req.memory = V4L2_MEMORY_MMAP;
ioctl(fd_v4l, VIDIOC_REQBUFS, &req)
1.2 v4l2_buffer结构体:
首先介绍一下v4l2_plane结构体,它如下所示,包含在v4l2_buffer结构体中:
/**
* struct v4l2_plane - plane info for multi-planar buffers
* @bytesused: number of bytes occupied by data in the plane (payload)
* @length: size of this plane (NOT the payload) in bytes
* @mem_offset: when memory in the associated struct v4l2_buffer is
* V4L2_MEMORY_MMAP, equals the offset from the start of
* the device memory for this plane (or is a "cookie" that
* should be passed to mmap() called on the video node)
* @userptr: when memory is V4L2_MEMORY_USERPTR, a userspace pointer
* pointing to this plane
* @fd: when memory is V4L2_MEMORY_DMABUF, a userspace file
* descriptor associated with this plane
* @data_offset: offset in the plane to the start of data; usually 0,
* unless there is a header in front of the data
*
* Multi-planar buffers consist of one or more planes, e.g. an YCbCr buffer
* with two planes can have one plane for Y, and another for interleaved CbCr
* components. Each plane can reside in a separate memory buffer, or even in
* a completely separate memory node (e.g. in embedded devices).
*/
struct v4l2_plane {
__u32 bytesused;
__u32 length;
union {
__u32 mem_offset;
unsigned long userptr;
__s32 fd;
} m;
__u32 data_offset;
__u32 reserved[11];
};
这个plane我翻译成位面,这个结构体是用在多位面的情况下每个位面的一些信息。
bytesused:表示已经使用的字节数(载重的大小)。
length:表示这个位面所拥有的字节数(不是载重)。
m.offset:表示从设备内存基址开始到这个位面的偏移值。
m.userptr:表示用户空间的一个指针指向这个位面。
m.fd:表示用户空间与此位面相关连的一个文件描述符。
data_offset:表示这个位面中数据开始的偏移值,一般为0.
这个结构体中m那个联合中的参数与enumv4l2_memory结构体中的数据是息息相关的。这个v4l2_plane一般嵌入在v4l2_buffer结构体中,同时v4l2_buffer结构体中也有一个memory字段,即enumv4l2_memory。
当memory== V4L2_MEMORY_MMAP的时候,则m.memoffset设置。
当memory== V4L2_MEMORY_USERPTR的时候,则m.userptr设置。
当memory== V4L2_MEMORY_DMABUF的时候,则m.fd设置。
/**
* struct v4l2_buffer - video buffer info
* @index: id number of the buffer
* @type: enum v4l2_buf_type; buffer type (type == *_MPLANE for
* multiplanar buffers);
* @bytesused: number of bytes occupied by data in the buffer (payload);
* unused (set to 0) for multiplanar buffers
* @flags: buffer informational flags
* @field: enum v4l2_field; field order of the image in the buffer
* @timestamp: frame timestamp
* @timecode: frame timecode
* @sequence: sequence count of this frame
* @memory: enum v4l2_memory; the method, in which the actual video data is
* passed
* @offset: for non-multiplanar buffers with memory == V4L2_MEMORY_MMAP;
* offset from the start of the device memory for this plane,
* (or a "cookie" that should be passed to mmap() as offset)
* @userptr: for non-multiplanar buffers with memory == V4L2_MEMORY_USERPTR;
* a userspace pointer pointing to this buffer
* @fd: for non-multiplanar buffers with memory == V4L2_MEMORY_DMABUF;
* a userspace file descriptor associated with this buffer
* @planes: for multiplanar buffers; userspace pointer to the array of plane
* info structs for this buffer
* @length: size in bytes of the buffer (NOT its payload) for single-plane
* buffers (when type != *_MPLANE); number of elements in the
* planes array for multi-plane buffers
* @input: input number from which the video data has has been captured
*
* Contains data exchanged by application and driver using one of the Streaming
* I/O methods.
*/
struct v4l2_buffer {
__u32 index;
__u32 type;
__u32 bytesused;
__u32 flags;
__u32 field;
struct timeval timestamp;
struct v4l2_timecode timecode;
__u32 sequence;
/* memory location */
__u32 memory;
union {
__u32 offset;
unsigned long userptr;
struct v4l2_plane *planes;
__s32 fd;
} m;
__u32 length;
__u32 reserved2;
__u32 reserved;
};
index:鉴别缓冲区的序号。
type:缓冲区类型,就是enumv4l2_buf_type里面所包含的类型。
bytesused:缓冲区中数据的大小,单位是byte。
flags:表示当前缓冲区的状态,有以下几种:
#defineV4L2_BUF_FLAG_MAPPED 0x0001 /* Buffer is mapped (flag) */
#defineV4L2_BUF_FLAG_QUEUED 0x0002 /* Buffer is queued for processing */
#defineV4L2_BUF_FLAG_DONE 0x0004 /* Buffer is ready */
#defineV4L2_BUF_FLAG_KEYFRAME 0x0008 /* Image is a keyframe (I-frame) */
#defineV4L2_BUF_FLAG_PFRAME 0x0010 /* Image is a P-frame */
#defineV4L2_BUF_FLAG_BFRAME 0x0020 /* Image is a B-frame */
/*Buffer is ready, but the data contained within is corrupted. */
#defineV4L2_BUF_FLAG_ERROR 0x0040
#defineV4L2_BUF_FLAG_TIMECODE 0x0100 /* timecode field is valid */
#defineV4L2_BUF_FLAG_PREPARED 0x0400 /* Buffer is prepared for queuing */
/*Cache handling flags */
#defineV4L2_BUF_FLAG_NO_CACHE_INVALIDATE 0x0800
#defineV4L2_BUF_FLAG_NO_CACHE_CLEAN 0x1000
/*Timestamp type */
#defineV4L2_BUF_FLAG_TIMESTAMP_MASK 0xe000
#defineV4L2_BUF_FLAG_TIMESTAMP_UNKNOWN 0x0000
#defineV4L2_BUF_FLAG_TIMESTAMP_MONOTONIC 0x2000
#defineV4L2_BUF_FLAG_TIMESTAMP_COPY 0x4000
timestamp:时间戳。
timecode:时间编码,对于视频类应用有用。
memory:即是enumv4l2_memory中的哪一种。
m.offset:当memory==V4L2_MEMORY_MMAP时,表示从设备内存基址到当前缓冲区的偏移值。(同时这个值也是传给mmap函数的offset参数)
m.userptr:当memory==V4L2_MEMORY_USERPTR时,表示用户空间的一个指针指向这个缓冲区。
m.fd:当memory==V4L2_MEMORY_DMABUF时,表示用户空间与此缓冲区相关联的一个文件描述符。
m.plane:指向某一个structv4l2_plane结构体,在multiplanar情况下,用户指向位面数组的指针。
length:缓冲区的大小(non_multiplanar情况下);位面的个数(multiplanar情况下)。
2.VIDIOC_REQBUFS
应用程序中:
struct v4l2_requestbuffers req;
memset(&req, 0, sizeof (req));
req.count = TEST_BUFFER_NUM;
req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
req.memory = V4L2_MEMORY_MMAP;
if (ioctl(fd_v4l, VIDIOC_REQBUFS, &req) < 0)
{
printf("v4l_capture_setup: VIDIOC_REQBUFS failed\n");
return 0;
}
其中
#defineTEST_BUFFER_NUM 3
通过这个VIDIOC_REQBUFSioctl调用来申请内存空间,这里的关键结构体就是structv4l2_requestbuffers结构体,对应设置req中的几个参数,然后就会调用到内核驱动中。
驱动中:
mxc_allocate_frame_buf(cam, req->count);
static int mxc_allocate_frame_buf(cam_data *cam, int count)
for (i = 0; i < count; i++)
{
cam->frame[i].vaddress = dma_alloc_coherent(0,
PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage),
&cam->frame[i].paddress, GFP_DMA | GFP_KERNEL);
cam->frame[i].buffer.index = i;
cam->frame[i].buffer.flags = V4L2_BUF_FLAG_MAPPED;
cam->frame[i].buffer.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
cam->frame[i].buffer.length = PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage);
cam->frame[i].buffer.memory = V4L2_MEMORY_MMAP;
cam->frame[i].buffer.m.offset = cam->frame[i].paddress;
cam->frame[i].index = i;
}
首先在内核的cam_data结构体中有一个重要的成员:structmxc_v4l_frame frame[FRAME_NUM];
这个成员structmxc_v4l_frame如下所示:
struct mxc_v4l_frame {
u32 paddress;
void *vaddress;
int count;
int width;
int height;
struct v4l2_buffer buffer;
struct list_head queue;
int index;
union {
int ipu_buf_num;
int csi_buf_num;
};
};
它包含一个很重要的结构体:structv4l2_buffer buffer,这个结构体正是我们前面所讲过的。它是本文要讨论的核心。
在这个函数中,通过dma_alloc_coherent函数申请req->count个缓冲区,之后设置cam->frame[i]中各个成员的值,其中最重要的是为structv4l2_buffer buffer赋值。
cam->frame[i].vaddress= dma_alloc_coherent(0,
PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage),
&cam->frame[i].paddress,GFP_DMA | GFP_KERNEL);
这个dma_alloc_coherent函数,会生成一个虚拟地址,保存在cam->frame[i].vaddress中,同时会生成对应的物理地址,保存在&cam->frame[i].paddress中。
然后将通过cam->frame[i].buffer.m.offset= cam->frame[i].paddress;将这个物理地址同样保存在cam->frame[i].buffer.m.offset中。
那么在应用程序中,#defineTEST_BUFFER_NUM3,而在驱动程序中,通过一个for循环,所以会申请成功三个缓冲区,每个buffer的物理地址都保存在cam->frame[i].buffer.m.offset中,虚拟地址都保存在cam->frame[i].vaddress中。
3.VIDIOC_QUERYBUF:
在应用程序中:
struct v4l2_buffer buf;
for (i = 0; i < TEST_BUFFER_NUM; i++)
{
memset(&buf, 0, sizeof (buf));
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
buf.index = i;
if (ioctl(fd_v4l, VIDIOC_QUERYBUF, &buf) < 0)
{
printf("VIDIOC_QUERYBUF error\n");
return -1;
}
buffers[i].length = buf.length;
buffers[i].offset = (size_t) buf.m.offset;
buffers[i].start = mmap (NULL, buffers[i].length,
PROT_READ | PROT_WRITE, MAP_SHARED,
fd_v4l, buffers[i].offset);
memset(buffers[i].start, 0xFF, buffers[i].length);
}
应用程序中首先声明了一个structv4l2_buffer buf;这个buf是个structv4l2_buffer类型的,其中在前面的分析中,可以看到,这个structv4l2_buffer类型包含在structmxc_v4l_frame中,即cam->frame[i]中。
驱动程序中:
mxc_v4l2_buffer_status(cam, buf);
static int mxc_v4l2_buffer_status(cam_data *cam, struct v4l2_buffer *buf)
memcpy(buf, &(cam->frame[buf->index].buffer), sizeof(*buf));
最终会调用到mxc_v4l2_buffer_status函数中,这个函数的核心就是一个memcpy函数,他将
cam->frame[buf->index].buffer里面的内容拷贝到buf中。
其中这个cam->frame[buf->index].buffer是在上面2中已经申请配置的。
同时,在应用程序中,是一个for循环,会将cam->frame[buf->index].buffer中申请的每个buffer都拷贝到buf中。
看应用程序中的for循环,它在调用VIDIOC_QUERYBUF之后,同时就会将这个buf中的值拷贝到buffers[i]中,而这个buffers[i]是应用程序中的一个全局变量,如下所示:
struct testbuffer buffers[TEST_BUFFER_NUM];
struct testbuffer
{
unsigned char *start;
size_t offset;
unsigned int length;
};
注意这个赋值语句:buffers[i].offset= (size_t) buf.m.offset;这个buf.m.offset在VIDIOC_QUERYBUF里面,通过memcpy函数,将cam->frame[i]中的内容拷贝过来的,buf.m.offset保存的是申请内存的物理地址。参见上面标红的语句。
这时候,应用程序这个structtestbuffer 结构体中各个元素的含义就清楚了,
start:保存的是mmap函数映射内存后的首地址。
offset:保存的是VIDIOC_QUERYBUF后buf.m.offset的值,同样是cam->frame[i].buffer.m.offset,即申请内存的物理地址。
length:保存的是申请内存的大小。
到这以后,总结一下:
首先通过dma_alloc_coherent函数申请内存,将物理地址,虚拟地址都保存在cam->frame[i]中,同时为cam->frame[i].buffer赋值。
然后就会调用VIDIOC_QUERYBUF,来将cam->frame[i]里面的buffer都取出来,通过buf这个中间变量赋值给应用程序中的buffers[i]中。
这时候,申请的内存的物理地址,虚拟地址,大小等等信息保存在驱动程序中的cam->frame[i]中和应用程序中的buffers[i]中。
4.VIDIOC_QBUF:
应用程序中:
for (i = 0; i < TEST_BUFFER_NUM; i++)
{
memset(&buf, 0, sizeof (buf));
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
buf.index = i;
buf.m.offset = buffers[i].offset;
if (ioctl (fd_v4l, VIDIOC_QBUF, &buf) < 0) {
printf("VIDIOC_QBUF error\n");
return -1;
}
}
应用程序中,通过这个for循环,依次从应用程序中的buffer[i]中取出buffer,保存在buf这个中间变量中,然后调用VIDIOC_QBUFioctl。
驱动中:
struct v4l2_buffer *buf = arg;
int index = buf->index;
if ((cam->frame[index].buffer.flags & 0x7) == V4L2_BUF_FLAG_MAPPED)
{
cam->frame[index].buffer.flags |= V4L2_BUF_FLAG_QUEUED;
list_add_tail(&cam->frame[index].queue, &cam->ready_q);
buf->flags = cam->frame[index].buffer.flags;
}
在驱动程序中会为cam->frame[index].buffer.flags添加上V4L2_BUF_FLAG_QUEUED属性,同时将这个cam->frame[index].buffer添加到cam->ready_q队列中,然后将cam->frame[index].buffer.flags复制给buf的flags属性。
由于应用程序中是个for循环,最终会把应用程序中buffers[i]数组中的所有成员都通过这个VIDIOC_QBUFioctl调用来添加flags属性以及添加到cam->ready_q队列中。同时,可以发现,在驱动程序中,也同时更新了cam->frame[index]。
5. VIDIOC_STREAMON
5.1 驱动程序中调用到mxc_streamon函数,在里面:
cam->enc_enable(cam);
cam->dummy_frame.vaddress = dma_alloc_coherent(0,
PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage),
&cam->dummy_frame.paddress, GFP_DMA | GFP_KERNEL);
cam->dummy_frame.buffer.type = V4L2_BUF_TYPE_PRIVATE;
cam->dummy_frame.buffer.length = PAGE_ALIGN(cam->v2f.fmt.pix.sizeimage);
cam->dummy_frame.buffer.m.offset = cam->dummy_frame.paddress;
在cam_data结构体中,还有一个structmxc_v4l_frame dummy_frame;开始一直不理解这个成员的意义(一会再讲)。看上面的操作,在VIDIOC_REQBUFSioctl函数中,相似的操作已经做过一遍了。
需要注意的是,cam->dummy_frame.vaddress保存的是所申请内存的虚拟地址,&cam->dummy_frame.paddress保存的是所申请内存的物理地址,同时将这个物理地址赋给了cam->dummy_frame.buffer.m.offset。
之后继续调用到:
prp_enc_setup(cam)
dma_addr_t dummy = cam->dummy_frame.buffer.m.offset;
ipu_init_channel_buffer(cam->ipu, CSI_PRP_ENC_MEM,
IPU_OUTPUT_BUFFER,
enc.csi_prp_enc_mem.out_pixel_fmt,
enc.csi_prp_enc_mem.out_width,
enc.csi_prp_enc_mem.out_height,
cam->v2f.fmt.pix.bytesperline /
bytes_per_pixel(enc.csi_prp_enc_mem.
out_pixel_fmt),
cam->rotation,
dummy, dummy, 0,
cam->offset.u_offset,
cam->offset.v_offset);
_ipu_ch_param_init(ipu, dma_chan, pixel_fmt, width, height, stride, u, v, 0,
phyaddr_0, phyaddr_1, phyaddr_2);
最终通过_ipu_ch_param_init函数,将这个dummy的物理地址放在CPMEM中word[1]的0~28和29~58位。
5.2ipu_request_irq函数
err = ipu_request_irq(cam->ipu, IPU_IRQ_PRP_ENC_OUT_EOF,
prp_enc_callback, 0, "Mxc Camera", cam);
之后会调用到ipu_request_irq函数申请中断,中断处理函数是prp_enc_callback,后面需要用到这个中断处理函数的时候再具体分析。
5.3
继续在mxc_streamon函数中执行
frame = list_entry(cam->ready_q.next, struct mxc_v4l_frame, queue);
list_del(cam->ready_q.next);
list_add_tail(&frame->queue, &cam->working_q);
frame->ipu_buf_num = cam->ping_pong_csi;
err = cam->enc_update_eba(cam, frame->buffer.m.offset);
从cam->ready_q队列中取出第一个mxc_v4l_frame实体(在QBUF的时候放进去的),将它放入cam->working_q队列中,然后调用cam->enc_update_eba函数来更新CPMEM中word[1]中的0~28和29~58位中所存的地址值。
至此,就明白了5.1中所申请的cam->dummy_frame的作用,它先使用这个虚假的buffer的地址来填充CPMEM中word[1]中的0~28和29~58位,然后调用cam->enc_update_eba函数来不断更新里面保存的buffer的物理地址。但是是怎么不断更新的呢?后面再仔细分析。
6. camera_callback中断处理函数
之后在mxc_streamon函数中就会打开摄像头设备,开始采集数据,很明显的一个问题就是:如果数据填充满一个buffer以后,系统怎么通知驱动程序?然后将这个buffer怎么做?
还记得在5.2中申请的中断不,它一直等待IPU_IRQ_PRP_ENC_OUT_EOF信号,如果超出buffer的范围的话,就会调用中断处理函数,这个中断处理函数是在init_camera_struct函数中通过cam->enc_callback= camera_callback;为它指定的。
在这个camera_callback函数中:
static void camera_callback(u32 mask, void *dev)
{
struct mxc_v4l_frame *done_frame;
struct mxc_v4l_frame *ready_frame;
struct timeval cur_time;
cam_data *cam = (cam_data *) dev;
if (cam == NULL)
return;
pr_debug("In MVC:camera_callback\n");
spin_lock(&cam->queue_int_lock);
spin_lock(&cam->dqueue_int_lock);
if (!list_empty(&cam->working_q)) {
do_gettimeofday(&cur_time);
done_frame = list_entry(cam->working_q.next, struct mxc_v4l_frame, queue);
if (done_frame->ipu_buf_num != cam->local_buf_num)
goto next; //位置1
done_frame->buffer.timestamp = cur_time;
if (done_frame->buffer.flags & V4L2_BUF_FLAG_QUEUED) {
done_frame->buffer.flags |= V4L2_BUF_FLAG_DONE;
done_frame->buffer.flags &= ~V4L2_BUF_FLAG_QUEUED;
/* Added to the done queue */
list_del(cam->working_q.next);
list_add_tail(&done_frame->queue, &cam->done_q);
/* Wake up the queue */
cam->enc_counter++;
wake_up_interruptible(&cam->enc_queue);
}else
pr_err("ERROR: v4l2 capture: camera_callback: "
"buffer not queued\n");
} //位置2
next:
if (!list_empty(&cam->ready_q)) { //队列不空
ready_frame = list_entry(cam->ready_q.next,
struct mxc_v4l_frame,
queue);
if (cam->enc_update_eba)
if (cam->enc_update_eba(
cam,
ready_frame->buffer.m.offset) == 0) {
list_del(cam->ready_q.next);
list_add_tail(&ready_frame->queue,
&cam->working_q);
ready_frame->ipu_buf_num = cam->local_buf_num;
}
} else { //队列为空
if (cam->enc_update_eba)
cam->enc_update_eba(
cam, cam->dummy_frame.buffer.m.offset);
}
从cam->working_q队列中取出structmxc_v4l_frame实体,为done_frame->buffer.flags添加V4L2_BUF_FLAG_DONE属性,同时去掉V4L2_BUF_FLAG_QUEUED属性,然后将这个done_frame从cam->working_q队列中移除,添加到cam->done_q队列中。
同时,在这个camera_callback函数中,同时会根据done_frame->ipu_buf_num来判断是否跳转到next去执行。
next中:如果队列不空的话,就调用cam->enc_update_eba函数来更新cpmem中word[1]中保存的buffer的地址,然后继续通过摄像头采集数据。如果这时候,队列为空了,说明申请的buffer用完了,就把原来申请的虚假的frame的物理地址填进去。
在这个函数中,注意我标红的//位置2处,在这里它没有return语句,也就是说,如果函数在//位置1处没有跳转到next处去执行的话,当程序继续执行到//位置2处时,后面的next语句同样会执行。所以,无论哪种情况下,next语句都会执行!!!
那么什么时候选择是否跳转到next处呢?它是通过:
if (done_frame->ipu_buf_num != cam->local_buf_num)
goto next;
这条语句来选择执行的,所以是否跳转到next处,就是这两个值的比较问题了。
我们想知道done_frame中ipu_buf_num这个值是怎么设置的,同时这个done_frame是从cam->working_q队列中取出来操作的frame,那么它是在什么地方添加到cam->working_q队列中去的呢?答案是mxc_streamon函数中。
再次来反思上面的执行流程,在VIDIOC_QBUF中,会将frame添加到cam->ready_q队列中,在mxc_streamon函数中,会将buffer从cam->ready_q队列中取出来,然后放到cam->working_q队列中去,注意,这时候在驱动程序中有一个小细节,我将mxc_streamon函数中有关这个小细节的代码复制下来:
spin_lock_irqsave(&cam->queue_int_lock, lock_flags);
cam->ping_pong_csi = 0;
cam->local_buf_num = 0;
if (cam->enc_update_eba) {
frame =
list_entry(cam->ready_q.next, struct mxc_v4l_frame, queue);
list_del(cam->ready_q.next);
list_add_tail(&frame->queue, &cam->working_q);
frame->ipu_buf_num = cam->ping_pong_csi;
pr_debug("First time : frame->buffer.m.offset = %d. \n", frame->buffer.m.offset);
err = cam->enc_update_eba(cam, frame->buffer.m.offset);
frame =
list_entry(cam->ready_q.next, struct mxc_v4l_frame, queue);
list_del(cam->ready_q.next);
list_add_tail(&frame->queue, &cam->working_q);
frame->ipu_buf_num = cam->ping_pong_csi;
pr_debug("Second time : frame->buffer.m.offset = %d. \n", frame->buffer.m.offset);
err |= cam->enc_update_eba(cam, frame->buffer.m.offset);
spin_unlock_irqrestore(&cam->queue_int_lock, lock_flags);
} else {
spin_unlock_irqrestore(&cam->queue_int_lock, lock_flags);
return -EINVAL;
}
它首先设置了两个变量:cam->ping_pong_csi= 0;和cam->local_buf_num= 0;然后将frame从cam->ready_q队列中取出来,然后放到cam->working_q队列中去,之后,设置这个
frame->ipu_buf_num= cam->ping_pong_csi;
那么此时,frame->ipu_buf_num= cam->ping_pong_csi == 0;
然后调用cam->enc_update_eba函数来将frame中保存的buffer地址写到CPMEM的word[1]中的第一个buffer地址处,0~28位。同时,之前分析过,在这个cam->enc_update_eba函数中,每执行一次,都会去改变一次cam->ping_pong_csi的值,从0变成1,或者从1变成0,而这也就是ping_pong_csi名字的由来。由于之前设置了cam->ping_pong_csi= 0,所以这次cam->ping_pong_csi的值从0变成了1。
之后,将同样的代码再次执行一遍:将frame从cam->ready_q队列中取出来,然后放到cam->working_q队列中去,设置frame->ipu_buf_num= cam->ping_pong_csi;
注意,这时候:frame->ipu_buf_num= cam->ping_pong_csi == 1;
然后调用cam->enc_update_eba函数来将frame中保存的buffer地址写到CPMEM的word[1]中的第二个buffer地址处,29~58位。执行完这次cam->enc_update_eba函数后,cam->ping_pong_csi的值从1又变成了0。
在驱动代码中,就只有这个地方更新了两次CPMEM中的buffer地址,所以之后继续更新buffer地址的任务就在camera_callback这个中断处理函数中。
在camera_callback函数中,通过
done_frame = list_entry(cam->working_q.next, struct mxc_v4l_frame, queue);
来从cam->working_q队列中取出frame,然后就是比较:
if (done_frame->ipu_buf_num != cam->local_buf_num)
goto next;
我们一路跟踪过来,没有地方修改过这个cam->local_buf_num的值,它仍为初始化的值0。而在mxc_streamon函数中,一共向cam->working_q队列中添加了两个frame,同时,这两个frame的ipu_buf_num依次为0和1(上面追踪分析了)。所以,从cam->working_q队列中取出第一个frame的ipu_buf_num为0。那么,在这里,这两个值相同,所以就不会直接跳转到next处去执行,就会顺序执行下面的代码。注意,在下面的代码中:
cam->enc_counter++;
wake_up_interruptible(&cam->enc_queue);
来唤醒等等队列,而这个cam->enc_queue队列是在VIDIOC_DQBUF这个ioctl调用中,通过:
wait_event_interruptible_timeout(cam->enc_queue, cam->enc_counter != 0, 10 * HZ)
来等待上面的唤醒条件。
所以,在camera_callback函数中来唤醒VIDIOC_DQBUF这个ioctl调用中这个等待队列。
之后就会执行到next标号处,因为,上面已经唤醒了cam->enc_queue这个队列,在应用程序中通过VIDIOC_DQBUF将第一个bufferDQ出去了,那么,在CPMEM中,只有一个buffer的地址了,在这时候,肯定需要更新buffer地址了。这个next标号后面的内容正是做了这些内容。
next:
if (!list_empty(&cam->ready_q)) {
ready_frame = list_entry(cam->ready_q.next,
struct mxc_v4l_frame,
queue);
if (cam->enc_update_eba)
if (cam->enc_update_eba(
cam,
ready_frame->buffer.m.offset) == 0) {
list_del(cam->ready_q.next);
list_add_tail(&ready_frame->queue,
&cam->working_q);
ready_frame->ipu_buf_num = cam->local_buf_num;
}
} else {
if (cam->enc_update_eba)
cam->enc_update_eba(
cam, cam->dummy_frame.buffer.m.offset);
}
可以看出来,程序中会继续从cam->ready_q队列中去取frame,而这个cam->ready_q队列是在应用程序中一直通过VIDIOC_QBUF这个ioctl调用来不断将所需的buffer添加到队列中去的。然后将取出来的frame,添加到cam->working_q队列中,然后调用cam->enc_update_eba来更新CPMEM中word[1]中的地址,同时,在cam->enc_update_eba函数中会继续改变cam->ping_pong_csi的值。
执行完这个流程以后,注意下面一句话:
cam->local_buf_num = (cam->local_buf_num == 0) ? 1 : 0;
终于看到修改cam->local_buf_num值的地方了。那么这个值有什么用呢?肯定与上面那个判断是否跳转到next的语句有关。
比如说现在成功执行完这个camera_callback函数了,等第二个frame也填充满了,又会调用到这个camera_callback中断处理函数,记得在mxc_streamon函数中,设置第二个frame->ipu_buf_num= 1,然后继续执行到camera_callback函数的
if(done_frame->ipu_buf_num != cam->local_buf_num)
gotonext;
判断语句,由于在上一次的camera_callback函数中,已经修改了cam->local_buf_num的值为1,所以这两者依然是相等的关系,也就是说仍然不会直接跳转到next标号处去执行。如此循环下去,这两者会一直相等下去的。。。
于是,从新思考这个问题,为什么要直接跳转到next处呢?是为了跳过//位置1和//位置2之间的代码,那么中间这一段代码都做了什么?我们前面分析了,会唤醒VIDIO_DQBUF中的等待队列。如果跳过这一段代码,直接去执行next后面的程序的话,就是为了不去唤醒VIDIO_DQBUF中的等待队列,为什么要这么做呢?
因为在next:处那个判断语句,if(!list_empty(&cam->ready_q)),如果当时,由于某种原因,应用程序中通过VIDIOC_QBUF函数没有成功,或者暂时还没有成功,那么这个cam->ready_q队列中就会为空,然后就会执行到后面的else语句,通过
cam->enc_update_eba( cam, cam->dummy_frame.buffer.m.offset);
来将一个虚假的buffer地址填充到CPMEM的work[1]中,那么,这个虚假的buffer肯定不能被DQBUF出去,如果DQBUF出去的话,图像就会出现错误。所以,camera_callback函数中通过:
if (done_frame->ipu_buf_num != cam->local_buf_num)
goto next;
来避免将填充进去的虚假bufferDQBUF出去。而cam->local_buf_num这个值就是为了表示这个而出现的。
cam->ping_pong_csi这个值在0和1之间变换,是为了分别向CPMEM中word[1]里面的0~28和29~29哪几位来填充地址。每次执行一次cam->enc_update_eba函数,这个值都会改变一次。
cam->local_buf_num这个值同样在0和1之间变换,是为了判断是否有虚假的buffer地址信息填充到CPMEM中,如果有的话,就跳过这个buffer,不让它DQBUF出去,这个值每次执行一次camera_callback函数都会改变一次。
通过上面的分析,就可以看出来,每当一个buffer填充满后,都会触发一次中断,在中断处理函数中,就会去更新CPMEM中的buffer地址,然后一直执行到应用程序停止填充buffer为止。
7. VIDIOC_DQBUF
应用程序中:
while (count-- > 0)
{
memset(&buf, 0, sizeof (buf));
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
if (ioctl (fd_v4l, VIDIOC_DQBUF, &buf) < 0) {
printf("VIDIOC_DQBUF failed.\n");
}
fwrite(buffers[buf.index].start, fmt.fmt.pix.sizeimage, 1, fd_y_file);
驱动程序中:
frame = list_entry(cam->done_q.next, struct mxc_v4l_frame, queue);
list_del(cam->done_q.next);
cam->frame[frame->index].buffer.field = cam->device_type ?
V4L2_FIELD_INTERLACED : V4L2_FIELD_NONE;
buf->bytesused = cam->v2f.fmt.pix.sizeimage;
buf->index = frame->index;
buf->flags = frame->buffer.flags;
buf->m = cam->frame[frame->index].buffer.m;
buf->timestamp = cam->frame[frame->index].buffer.timestamp;
buf->field = cam->frame[frame->index].buffer.field;
驱动程序中将cam->done_q.next队列中已经填充好的数据buffer的地址指针从cam->frame[frame->index]中复制给buf这个中间变量,然后这个buf返回给应用程序中,应用程序就获得了这个buffer的地址,然后调用fwrite函数,就可以将数据写到fd_y_file中了。