04 ARM Mali-V VPU硬件视频编解码驱动介绍V61

ARM Mali-V VPU硬件视频编解码驱动介绍V61

作者	将狼才鲸
创建日期	2022-12-13

CSDN文章地址：ARM Mali-V VPU硬件视频编解码驱动介绍V61

---

一、PC上的VPU模拟器和驱动测试

• ARM提供了一个在Linux下运行的VPU模拟器，可以使用模拟器运行Mali-V的驱动程序和Demo，并且能在电脑上看到视频编解码后的效果。

  • 具体查阅的的文档是：ARM® Mali™-V61 Firmware Tools，Revision: r0p1，User Guide，Confidential
  • 相关的文档还有：
  • VPU技术总览：ARM® Mali™-V61 Video Processor Technical Overview (ARM 100503)
  • VPU技术参考手册：ARM® Mali™-V61 Video Processor Technical Reference Manual (ARM 100504)
  • VPU IP配置手册：ARM® Mali™-V61 Video Processor Configuration and Integration Manual (ARM 100505)

• 文档中介绍了VPU模拟器的特性、如何安装、如何编译测试用的驱动源码、如何使用模拟器进行编码和解码

• VPU的工具包包含有：VPU的闭源驱动二进制文件、PC仿真的工具软件（在电脑上用VPU的接口进行编码解码，速度很慢，不能达到实时的编解码速度）、使用VPU调用VPU接口的Demo源码文件，用这个Demo可以编解码一个视频流如H.265、H.264等，但不能播放MP4等有封装格式的多媒体文件，代码中没有解封装、解复用的功能。

  • 编码的PC仿真器名字为mve_encode，是在Linux命令行中运行的软件
  • 解码的PC仿真器名字为mve_decode，是在Linux命令行中运行的软件
  • 描述了怎么在电脑上模拟运行视频流的编码和解码
  • mve_encode和mve_decode模拟器支持的选项有：可以配置B帧的比例、P帧的比例，设置比特率、宏块数、265 264的协议、264使能内部预测、264 cabac、输出NALU格式、缓存大小、Qp值、264 265起始码、垂直镜像、水平镜像；旋转、帧间隔格式。
  • 使用模拟器的VPU驱动的名字叫miniplayer，但是其实只能播264/265裸流。
    • 具体的源码在ARM提供的压缩包内，如：mali_v550\v2\integration_kit\src，源码模块的名字叫mve，这也是我们在单片机中写驱动时主要要参考的源码，Linux或者安卓中写驱动时ARM提供了另外的驱动源码。

二、VPU调用的API接口

• 有一个文档描述了Mali VPU MVE视频处理器的工作原理、操作流程：MVE Host Interface Specification (Protocol v2.0)，MPG

• 弄请了ARM VPU的底层API接口，才能直接手写VPU驱动代码，按照项目要求修改驱动；文档中同时也描述了VPU和CPU之间该如何通信，CPU该如何控制VPU

  • CPU和VPU之间通过APB总线通信，使用中断信号和外部共享内存；如果能同时编解码多个视频流，则一个流就是一个session；VPU自带的代码中执行的最小单元是jobs作业，一个作业编解码一帧图片，作业被CPU中执行的驱动所调用

• CPU针对VPU的驱动中，编解码一个视频流时，先创建一个session段，在里面做好内存映射，通常需要几十上百M内存的支持；分配段ID；调用一次job作业来编解码一帧图片

  • 因为VPU需要的内存较多，实际使用中内存也分为了好几页，还有内存映射表
  • VPU将内存划分为：页表映射区域，存放VPU固件程序和状态机，解码输入或编码输出比特流（未解码帧，同样的大小存放的帧数量不同，因为每帧压缩率不一样），核间通信消息队列，输入输出缓存描述队列（每一帧的缓存中可以携带自己独有的信息，如PTS显示时间），VPU自用的内部缓存（占用最多，随视频画幅变大而变大），动态内存申请通知的缓存

• 编解码不同的视频流格式，需要给VPU加载不同的固件二进制文件

  • CPU和VPU之间采用异步通信，不会阻塞，有6个异步消息队列，每个4K大小；使用RPC也可以实现同步通信，这时消息就被阻塞住

• VPU里面有自己的状态机：有停止、运行两个状态

  • 停止状态下要重新从I帧开始编解码
  • VPU固件头的格式在文档中有描述，都是定义一些版本号和地址
  • VPU内存映射表按照4k、4M的页大小进行布局，最大支持4GB总容量的映射
  • CPU驱动中，一个VPU job中可能操作多帧
  • 视频流（例如一部电影）的最后一个输入缓存中需要带有流结束标志，解码后最后输出的一帧同样也带有流结束标志
  • 文档中详细描述了CPU和VPU之间各种job通信的协议细节

• CPU必须调用VPU API的接口，给VPU创建一个内存映射表，将内存映射成VPU需要的从0地址开始的虚拟地址

  • 需要根据画幅进行计算，占用较大的内存有 FRAMEBUF，NTBUFS and BITBUFS
  • VPU输出解码后的帧顺序是PTS显示顺序，而不是DTS比特流解码顺序

• VPU里面列出一些出错码，如果有的帧出现解不了或者马赛克的时候，往往也能收到错误码和dump的出错信息

  • 输入缓存中带了一些帧信息，如：帧间隔格式，一帧数据中是否一定包含一个完整的帧，帧间隔如果是长度的话，采用几字节的长度，子帧结束，帧结束，视频流结束；不同的视频格式支持的帧间隔格式还不一样
  • 输出缓存中的帧信息有：帧结束，是否是参考帧，编码正确
  • 解码时，如果输入的某个缓存是多帧合一，那么输出的缓存也会拆成一帧一个。
  • 已编码的帧大小不好判断，估算时可以按照原始未编码帧大小的1/3来估算
  • 编码时，如果输出SPS PPS VPS信息的话，帧缓存中会带MVE_BUFFER_BITSTREAM_FLAG_CODECONFIG 标签

• 如果跳转时直接只改变输入流的位置，那么会产生马赛克；推荐的方法是先将VPU状态切换到STOP，然后再刷新输入缓存，最后重新切换到运行状态，然后推入新位置的关键帧

  • 编解码器有一定的配置，如：帧间隔信息，编解码协议（简单/基本/高级），忽略流中的配置，内部帧缓存大小，参考帧频率，帧率，NALU格式，帧间隔码，协议级别，一个slice中的宏块数，初始化表，图片解码时的配置
  • 已解码的帧支持不同的格式，YUV420/422，RGB
  • 编解码时支持旋转、缩放、镜像、
  • 文档中给出了不同画幅编解码时需要的最少内存量以及计算公式

• 文档中介绍了跳转和切换文件要做的操作：

  • 先将VPU的状态机从RUNNING切换到STOPPED，不提前切换到STOP状态而直接改变流的话，VPU会进入停顿状态并发出IDLE消息；
  • VPU不支持暂停状态，要想达到暂停的目的，CPU不调用VPU的job就可以实现；
  • VPU切换到STOP状态后，需要执行刷新缓存的job：NPUT_FLUSH, OUTPUT_FLUSH
  • 在停止状态，一些基本的流信息还是保存的，例如尺寸宽高，但是关键帧信息一定会丢失，所以只需要重新输入一个I帧就能继续接着解码，
  • VPU在成功切换到STOP状态后，会发送MVE_RESPONSE_CODE_STATE_CHANGE message给CPU，CPU必须先刷新input buffers，然后再传入新的I帧。
  • VPU切换到STOP状态后，会丢失nput buffers中的内容，但output buffers中的帧会继续保存，因为这些帧所占的时间很短，所以跳转和切换文件时可以不管output的缓存，直接把已解码的帧播完，也可以直接清输出缓存。