3 OPENVINO：How to accelerate Video processing

1 初始高清视频大小

初始文件压缩后压缩比比可以到100

2 压缩的二种方式

In order to compress we need redundancy
– Ability to present a lot of data with smaller amount of pixels/bits… without loosing information (lossless)

2.1 spatial redundant

与
对于空间相同的图像可以存储它的像素平均值再应用于其它地方

2.2 temporal redundant

对于时序相同的像素可以只存储第一张图片的该区域像素值，接下来直接使用第一张存储的像素值

3 帧与帧的存储

P帧是I与I之间的差异，包含前I到后I的方法
B是帧与帧之间的差值
p是1/2I数据，B是1/2P数据

4 压缩和解码

需要相同的规则编解码器

mp4实际是一个容器文件，可以存储video Stream AUdio Stream，META，比特率，分辨率
最重要信息的是使用的编解码器

海量数据存储在大型缓冲器，并每一帧进行处理，二帧进行对比差异

5 总结

Summary
• Video streaming is a heavy task, Video size is HUGE
• Video Compression leverage redundancies in the image (frame) and across
frames to represent the same amount of information with less data
• We talked about terminologies like CODEC, video container file and more
• Video processing could be done on the CPU using software, but Intel
integrated GPUs have dedicated hardware for that
• Media-SDK is Intel software to utilize Intel Quick Sync Technology for Video
processing (Encode, Decode, processing)
• Media-SDK could be used from OpenCV, FFMPEG, Gstreamer
• Media-SDK is part of OpenVINO

6 课程检验

为了减小视频大小，我们需要压缩视频，在视频压缩中我们需要使用冗余来替换掉视频中出现的重复性数据。视频冗余则分为：
冗余分为两类，第一类为时间冗余，指的是在一段时间内某固定区域的像素参数不发生改变，则只存储第一帧的参数即可，链接帧的参数从第一帧进行复制，来达到减少保存的像素参数数据。第二类为空间冗余，指的在画面在变化的时候，某区域的图像发生移动，但是区域内的像素参数保持不变，则通过存储第一帧的相关区域内的参数来复制到链接帧发生移动的相关区域，达到减少保存的像素参数数据。

在被压缩后的视频中，用于存储全部像素值信息的帧是：
在视频压缩过程中，I帧用于存储全部的像素值信息；P帧一般会存储I帧信息的一半，剩下的一半像素值信息用前一个I帧的信息来补足；B帧一般存储I帧信息的四分之一，B帧介于I帧与P帧之间，插值补足I帧与P帧之间的动作误差。

编码解码器给视频的压缩制定编码解码规则，我们日常用到比较多的例如.MP4文件则是封装了不同编解码器所制定的视频流，音频流，或者其他信息流等等。

OpenCV，FFMEPEG，Gstreamer或者Intel®Media SDK都可以帮助开发者进行视频的编解码，并且不同软件还提供不同的加速技术。他们都可以很方便地为开发者处理视频提供软硬件加速功能。