opencv 视频处理相关

包含视频格式知识（编解码和封装格式）；如何获取视频信息及视频编解码格式；opencv读取及保存视频，及opencv fourcc编码格式

一、基础知识

视频的编解码格式和封装格式

参考如山似水 视频编码与封装⽅式详解

参考迷之程序员 opencv视频编码格式

参考Alex Chung 视频的编解码格式 - 知乎

常⻅的AVI、RMVB、MKV、ASF、WMV、MP4、3GP、FLV等⽂件（.后缀）其实只能算是⼀种封装标准。 ⼀个完整的视频⽂件是由⾳频和视频两部分组成的，例如H264、Xvid等就是视频编码格式，MP3、AAC等就是⾳频编码格式。

常⽤视频编码⽅式

Xvid(MPEG4)，H264，MPEG1，MPEG2 （感兴趣的可以了解下DivX和XviD的故事，这两兄弟，前者收费，后者开源，用后者就对了）

常⻅存储封装格式

总体上说AVI和RM是⽬前最常⻅的格式，⽽AVI由于先天缺陷不利于⽹络传输；m2ts和mkv是先进的下⼀ 代标准，今后可能逐步流⾏。WMV和ASF通常是微软MPEG4算法的存储格式, DAT和MPG是MPEG1算法编码的⽂件的存储⽅式，其中DAT主要⽤于VCD，VOB则是MPEG2 算法编码的⽂件的存储⽅式，通常⽤于DVD。

python使用ffmpeg 获取视频文件信息

！！！注意使用以下命令安装包，不然会使用报错！！！

pip install ffmpeg-python

参考代码

import ffmpeg

input_video = './data/rafting.avi'

if __name__ == "__main__":
    
    probe = ffmpeg.probe(input_video)

    video_stream_info = probe["streams"][0]
    audio_stream_info = probe["streams"][1]
    format_info = probe["format"]
    # show video codec info
    print("codec_type: {0} | codec_name: {1}| codec_long_name: {2}".format(video_stream_info["codec_type"],
                                                                           video_stream_info["codec_name"],
                                                                           video_stream_info["codec_long_name"]))
    # show audo codec info                                                 
    print("codec_type: {0} | codec_name: {1}| codec_long_name: {2}".format(audio_stream_info["codec_type"],
                                                                           audio_stream_info["codec_name"],
                                                                           audio_stream_info["codec_long_name"]))
    # show container(encapsulation) format
    print("filename:{0} | format_name: {1} | format_long_name: {2}".format(format_info["filename"],
                                                                           format_info["format_name"],
                                                                           format_info["format_long_name"]))

参考视频信息输出样例

{'streams': [{'index': 0, 'codec_name': 'msmpeg4v2', 'codec_long_name': 'MPEG-4 part 2 Microsoft variant version 2', 'codec_type': 'video', 'codec_time_base': '1/12', 'codec_tag_string': 'MP42', 'codec_tag': '0x3234504d', 'width': 1920, 'height': 1080, 'coded_width': 1920, 'coded_height': 1080, 'closed_captions': 0, 'has_b_frames': 0, 'pix_fmt': 'yuv420p', 'level': -99, 'refs': 1, 'r_frame_rate': '12/1', 'avg_frame_rate': '12/1', 'time_base': '1/12', 'start_pts': 0, 'start_time': '0.000000', 'duration_ts': 19999, 'duration': '1666.583333', 'bit_rate': '2422022', 'nb_frames': '19999', 'disposition': {'default': 0, 'dub': 0, 'original': 0, 'comment': 0, 'lyrics': 0, 'karaoke': 0, 'forced': 0, 'hearing_impaired': 0, 'visual_impaired': 0, 'clean_effects': 0, 'attached_pic': 0, 'timed_thumbnails': 0}}], 'format': { ...}

二、opencv视频相关操作

1.视频信息读取相关

首先读取视频文件，函数部分使用方式如下

video_reader = cv2.VideoCapture('test.mp4')

cv2.VideoCapture()

如果传的参数是数字，表示使用摄像头。如 cv2.VideoCapture(0)，表示使用计算机第一个摄像头。

如果传的是一个视频的地址，则表示读取本地视频。这里我只用第二种，给一个视频的绝对路径并读取它。另有如下两常用函数:

• cv2.VideoCapture().isOpened() 检测视频读取状态是否正常
• cv2.VideoCapture().read() 获取视频某一帧，返回两个值，第一个是布尔值，表示“这一帧”是否获取正确；第二个值是这一帧的内容，是一个矩阵。

获取视频的基本信息

例如获取视频的编解码信息 FOURCC ，例如输出 1145656920

print( int(video_reader.get(cv2.CAP_PROP_FOURCC)))    
## 或者直接整数参数替代，参考下面表格
print(int(video_reader.get(6)))   

**cv2.VideoCapture.get参数 ** 参考官网

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M7Hq3u1I-1637575947898)(../../figure/20210425103045721.png)]

FOURCC

关于fourCC的一段讲述

FourCC is a 4-byte code used to specify the video codec. The list of available codes can be found in fourcc.org. It is platform dependent. Following codecs work fine: In Fedora: DIVX, XVID, MJPG, X264, WMV1, WMV2. ( XVID is more preferable. MJPG results in high size video. X264 gives very small size video ) In Windows: DIVX ( more to be tested and added )

FourCC code is passed as cv2.VideoWriter_fourcc('M','J','P','G') or cv2.VideoWriter_fourcc(\*'MJPG) for MJPG.

这里针对FOURCC专门写一下，可以看到例如上面的输出 1145656920，opencv中默认把FOURCC从字符转为int类型，对应的转换原理可以参考维基中的Technical details。

int转换为四位的字符，参考以下python代码

def decode_fourcc(cc):
    return "".join([chr((int(cc) >> 8 * i) & 0xFF) for i in range(4)])
    
decode_fourcc(1145656920)
'XVID'

或者参考这c++代码

unsigned int f = (unsigned)capture.get(cv::CAP_PROP_FOURCC);
char fourcc[] = {
		(char)f, // First character is lowest bits
		(char)(f >> 8), // Next character is bits 8-15
		(char)(f >> 16), // Next character is bits 16-23
		(char)(f >> 24), // Last character is bits 24-31
		'\0' // and don't forget to terminate
	};
cout << "the return int fourcc was: " << f << endl;
cout << "FourCC for this video was: " << fourcc << endl;
/*运行结果为：
the return int fourcc was: 1145656920
FourCC for this video was: XVID
*/

或者这个在线转换的， 在线int fourCC转字符；另外opencv有函数自动把四位字符的fourCC转为int

cv2.VideoWriter_fourcc(*'XVID')     ###  1145656920

一些常见的fourCC 字符和 integer 对照表

字符	对应integer
"XVID"	1145656920
"MJPG"	1196444237
"X264"	875967064
"DIB"	541215044
"WMV1"	827739479
"WMV2"	844516695

3. 读取视频相关

这一部分比较简单，网上教程也很多，贴一个代码就行

    success = True
    video_reader = cv2.VideoCapture(video_path)
    while success and video_reader.isOpened():
        # get a frame
        success, frame = video_reader.read()
        # show a frame
        cv2.imshow("capture", frame)
        if cv2.waitKey(100) & 0xFF == ord('q'):
            break
    video_reader.release()
    cv2.destroyAllWindows() 

3. 保存视频相关

cv2.VideoWriter()

保存视频需要使用cv2.VideoWriter()函数

VideoWriter(filename, fourcc, fps, frameSize[, isColor]) -> 

参数说明:

比较重要的三个fourcc 指定编码格式，注意格式和对应的后缀匹配；frameSize 视频分辨率，一定要确保写入的图像和此分辨率一致，如果像改分辨率得先把图resize再保存成特定分辨率；isColor，True，输入图必须是RGB，否则无法保存，但是却不会报错，只不过发现保存的视频为空的，也打不开

• filename，要保存的视频路径
• fourcc，视频压缩帧的编码codec，例如 cv2.VideoWriter_fourcc('M', 'P', '4', '2') 或者 cv2.VideoWriter_fourcc(*"MP42") 表示使用 MPEG-4.2 codec, 可以参考这个: 可以使用的fourcc列表大全
• fps，输出视频的帧率
• frameSize，输出视频每帧图像的大小，要和写入的那帧图大小一直，不然会有问题
• isColor，如果非零，编码器将希望得到彩色帧并进行编码；否则，是灰度帧（只有在Windows下支持这个标志）

附加一个关于fourCC的说明

四个字符用来表示压缩帧的codec 例如：
CV_FOURCC(‘P’,‘I’,‘M’,‘1’) = MPEG-1 codec
CV_FOURCC(‘M’,‘J’,‘P’,‘G’) = motion-jpeg codec
CV_FOURCC(‘M’, ‘P’, ‘4’, ‘2’) = MPEG-4.2 codec
CV_FOURCC(‘D’, ‘I’, ‘V’, ‘3’) = MPEG-4.3 codec
CV_FOURCC(‘D’, ‘I’, ‘V’, ‘X’) = MPEG-4 codec
CV_FOURCC(‘U’, ‘2’, ‘6’, ‘3’) = H263 codec
CV_FOURCC(‘I’, ‘2’, ‘6’, ‘3’) = H263I codec
CV_FOURCC(‘F’, ‘L’, ‘V’, ‘1’) = FLV1 codec
NOTE：生成文件占用空间最小的编码方式是MPEG-4.2 codec。在VideoWriter类的构造函数参数为CV_FOURCC(‘M’, ‘P’, ‘4’, ‘2’) 。
最大的是MPEG-1 codec，对应在VideoWriter类的构造函数参数为CV_FOURCC(‘P’,‘I’,‘M’,‘1’) ，所占磁盘空间是前者的5.7倍。所以如果需要24小时全天候录制监控，可以优先使用MPEG-4.2的编解码方式。
若编码器代号为 -1，则运行时会弹出一个编码器选择框.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nkdl9PlK-1637575947899)(../../figure/aHR0cDovL3VwbG9hZC1pbWFnZXMuamlhbnNodS5pby91cGxvYWRfaW1hZ2VzLzU1Mjk5OTctYTkyMzFiOGRjZmZkMTRkMQ)]

原文链接：https://blog.csdn.net/qiu931110/article/details/85174069

例子

先定义输出文件

    fps_cv = video_reader.get(cv2.CAP_PROP_FPS)  ### 视频fps, opencv检测到的
    fourcc = cv2.VideoWriter_fourcc(*'XVID')     ### 保存视频的格式
    h, w, c = frame.shape
    out = cv2.VideoWriter(save_path, fourcc, fps_cv, (w, h), isColor=True)  ## 保存视频

然后一遍读视频每帧一遍保存成新的视频

    success = True
    video_reader = cv2.VideoCapture(video_path)
    while success and video_reader.isOpened():
        # get a frame
        success, frame = video_reader.read()
        ### save frame
        out.write(frame)
    out.release()  ### 完成保存，释放
    video_reader.release()

各种视频格式测试

保存1080p的视频，共300帧的内容，H.265 和H.264暂未测试，opencv需要相关的依赖包

分辨率	格式	需要时间	文件大小
1920*1080	'XVID' MPEG-4 codec	1.7377230167388915	6.2MB
1920*1080	‘MP42’ MPEG-4.2 codec	1.7837894439697266	6.1MB
1920*1080	"DIVX" MPEG-4 codec	1.7331401348114013	6.2MB
1920*1080	"DIV3" MPEG-4.3 codec	3.3492454290390015	6.1MB