【正点原子FPGA连载】第三十三章OV5640摄像头HDMI显示实验 摘自【正点原子】DFZU2EG/4EV MPSoC 之FPGA开发指南V1.0

1）实验平台：正点原子MPSoC开发板
2）平台购买地址：https://detail.tmall.com/item.htm?id=692450874670
3）全套实验源码+手册+视频下载地址： http://www.openedv.com/thread-340252-1-1.html

第三十三章OV5640摄像头HDMI显示实验

在OV5640摄像头RGB-LCD显示实验中，成功地在LCD屏上实时显示出了摄像头采集的图像。本章将使用FPGA开发板实现对OV5640的数字图像采集并在HDMI显示器上实时显示。
本章包括以下几个部分：
3333.1简介
33.2实验任务
33.3硬件设计
33.4程序设计
33.5下载验证

33.1简介
在“OV5640摄像头RGB-LCD显示实验”中对OV5640的视频传输时序、SCCB协议以及寄存器的配置信息等内容作了详细的介绍，如果大家对这部分内容不是很熟悉的话，请参考“OV5640摄像头RGB-LCD显示实验”中的OV5640简介部分。
33.2实验任务
本节实验任务是使用DFZU2EG/4EV MPSoC开发板及OV5640摄像头实现图像采集，并通过HDMI接口驱动HDMI显示器，并实时显示出图像。
33.3硬件设计
摄像头扩展接口原理图及OV5640模块说明与“OV5640摄像头RGB-LCD显示实验”完全相同，请参考“OV5640摄像头RGB-LCD显示实验”硬件设计部分。HDMI接口部分的硬件设计请参考“HDMI彩条显示实验”中的硬件设计部分。
由于OV5640、HDMI接口和DDR4引脚数目较多且在前面相应的章节中已经给出它们的管脚列表，这里不再列出管脚分配。
33.4程序设计
根据实验任务，首先我们设计如图 33.4.1所示的系统框图，本章实验的系统框架延续了“OV5640摄像头RGB-LCD显示实验”的整体架构。本次实验包括以下模块： DDR4控制器模块、摄像头驱动顶层模块、时钟模块、视频显示模块和HDMI顶层模块。其中DDR4控制器顶层模块和摄像头驱动模块完全延用了“OV5640摄像头RGB-LCD显示实验”中的模块没有做任何修改，而MMCM时钟IP核模块、HDMI驱动模块和视频显示模块也是完全延用了“HDMI彩条显示实验”中的模块没有做任何修改，所以本节实验完全可以看成是将“OV5640摄像头RGB-LCD显示实验”中的LCD显示模块替换成了“HDMI彩条显示实验”中的HDMI显示模块。因此本节实验就不再对程序代码做讲解了，大家有不懂的地方可以去看前面的“OV5640摄像头RGB-LCD显示实验”和“HDMI彩条显示实验”这两个例程。下面我们来分析一下本节实验软件工程的整体架构。
OV5640摄像头HDMI显示系统框图如下图所示：

图 33.4.1 顶层系统框图
我们先来分析一下上图中的时钟网络，首先板载时钟发生器芯片提供一对差分时钟（系统时钟），直接进入MIG IP核，一方面作为MIG IP核的驱动时钟另一方面由MIG IP核内部派生出一路50MHz的时钟进入ov5640顶层模块和MMCM时钟IP核模块。而MMCM时钟IP核模块又分频出三路时钟（像素时钟、2.5倍像素时钟、5倍像素时钟，频率大小由HDMI显示分辨率决定）进入HDMI驱动模块，其中像素时钟还进入了视频显示模块作为视频显示模块的驱动时钟。分析完了时钟网络之后我们再来看看数据流，先是ov5640顶层模块配置ov5640摄像头，配置成功后采集ov5640摄像头传入的数据，并将数据传输到DDR4顶层模块；DDR4顶层模块通过MIG IP核驱动外部DDR4芯片，将摄像头数据写入DDR4芯片，当接收到视频显示模块的读数据请求后就会把外部DDR4芯片中缓存的数据再读回来传递给视频显示模块；视频显示模块会将数据和行场同步信息一起发给HDMI驱动模块，HDMI驱动模块会将像素数据、行场同步信息以及像素时钟分别进行TMDS编码（不了解TMDS编码的同学可以看前面的HDMI彩条显示实验），最后驱动HDMI显示器，将摄像头采集到的图像显示在HDMI显示屏上。
顶层模块的原理图如下图所示：

图 33.4.2 顶层模块原理图
FPGA顶层模块（ov5640_hdmi）例化了以下五个模块：时钟模块（clk_wiz_0）、OV5640驱动模块（ov5640_dri）、DDR控制模块（ddr4_top）、HDMI驱动模块（dvi_transmitter_top）以及视频显示驱动模块（video_driver）。
时钟模块（clk_wiz_0）：时钟模块通过调用MMCM IP核实现，共输出3个时钟，频率分别为75Mhz时钟（HDMI像素时钟）、187.5Mhz（HDMI像素时钟的2.5倍频）时钟和375Mhz时钟（HDMI像素时钟的5倍频）。其中75Mhz时钟就是根据HDMI显示规范来设定的标准像素驱动时钟，因为本节实验采用的是720P的分辨率所以像素时钟选择75Mhz（实际规范是74.5Mhz，这里比实际规范要求的时钟频率稍微大一点，不影响功能）。而187.5Mhz时钟和375Mhz时钟分别是像素时钟的2.5倍和5倍，他们的作用是一个用于10bit进4bit出的ram，另一个是用于10bit并行数据转1bit串行数据，详细讲解请参考前面的HDMI彩条显示实验例程。
OV5640驱动模块（ov5640_dri）：OV5640驱动模块负责驱动OV5640 SCCB接口总线，将像素时钟驱动下的传感器输出的场同步信号、行同步信号以及8位数据转换成DDR读写控制模块的写使能信号和16位写数据信号，完成对OV5640传感器图像的采集。
DDR控制模块（ddr4_top）：DDR读写控制器模块负责驱动DDR片外存储器，缓存图像传感器输出的图像数据。该模块将MIG IP核复杂的读写操作封装成类似FIFO的用户接口，非常方便用户的使用。
有关DDR控制模块的详细介绍请大家参考“OV5640摄像头RGB-LCD显示实验”章节。
视频显示驱动模块（video_driver）：视频显示驱动模块主要作用就是生成HDMI的行场同步时序和数据读取请求，并将摄像头的rgb565数据转换成rgb888数据。
HDMI驱动模块（dvi_transmitter_top）：HDMI驱动模块的作用就是将行场同步信息、像素数据以及像素时钟进行TMDS编码，再将并行数据转换成串行数据输出给外界的HDMI显示屏，从而实现将摄像头采集的图像数据在HDMI显示屏上显示的功能。
有关HDMI视频显示驱动模块和HDMI驱动转换模块的详细介绍请大家参考“HDMI彩条显示实验”章节。
33.5下载验证
编译完工程之后我们就可以开始下载程序。将双目OV5640摄像头（本节实验只使用双目摄像头模块的其中一个摄像头）模块插在DFZU2EG/4EV MPSoC开发板J19扩展口上，并将HDMI电缆一端连接到开发板上的HDMI插座、另一端连接到显示器。将下载器一端连电脑，另一端与开发板上的JTAG端口连接，然后连接电源线后拨动开关按键给开发板上电。硬件实物连接如下图所示：

图 33.5.1DFZU2EG/4EV MPSoC开发板连接HDMI显示器
接下来我们下载程序，验证OV5640 HDMI实时显示功能。下载完成后观察HDMI显示器显示的图案如下图所示，说明OV5640 HDMI实时显示程序下载验证成功。

图 33.5.2 HDMI实时显示图像