前言:
此问题并没有完全解决,我的做法也是有问题的,若有大神能提出意见,本人感激不尽。
本人的OpenCV版本是4.5.5
业务场景片段描述:
视频输入是拉取的rtsp流,需要对其做抽帧处理,最后输出MP4文件。比如输入的流帧率是25,输出的MP4文件帧率是5。
本人大致做法描述:
vector frames; // 此处的farmes是已经抽帧之后的 帧组
cv::String filePath = cv::format("%s.mp4", STR(m_recordPath));
cv::VideoWriter videowriter;
bool ret = videowriter.open(filePath, cv::CAP_FFMPEG, cv::VideoWriter::fourcc('a','v','c','1'), 5, cv::Size(1920,1080));
if (!ret)
{
return false;
}
// 此处尝试过各种办法,最终这种看似没有逻辑、强行拼凑的方法勉强能用。
// 至于其他尝试在后续文章中详细说明
for (int i=0; i+1 < frames.size(); i++ ){
vector fm;
fm.push_back(frames[i].clone());
fm.push_back(frames[i+1].clone());
std::cout<<"start "<
问题点:
1 为何不直接使用 videowriter.write(frames) 而是使用for循环?
答:这样使用的结果是产生的MP4视频只有一帧图片。而且并不能捕获到异常。本人一开始也是这样写的,随后在网上查找解决方法未果。偶然发下,每多调用一次write()函数,生成的视频就多一帧。从而有了后续推断。
2 为何不使用 << 运算符写入每一帧?
答:此方法会导致此异常:
断言错误,我没有阅读源码、去深究此问题,我觉得更可能是我用错了。
随后我试了在循环中使用 videowriter.write(frames[i]) 来写入每一帧,同样的得到了一个类似的断言错误。
3 是否是因为抽帧导致的问题?是否是因为cv::Mat拷贝问题?是否是因为多线程问题?
答:是否因为抽帧或者因为我抽帧时处理不当导致,此问题还待继续验证。至于拷贝问题,目前测试时用的都是cv::Mat.clone() 函数拷贝的,应该不会有问题。多线程问题也是需要继续验证。(20230131改:后续证明是此处问题)
终:
最后测试发现一次性写入两帧不会报错,并且视频能正常播放。所以不得已拼凑出来一开始的方法。大概率还是我自己对OpenCV使用的问题,也欢迎大家指正。
期待更新中......
2022/12/29 更新:
将原文中:
videowriter.open(filePath, cv::CAP_FFMPEG, cv::VideoWriter::fourcc('m','p','4','v'), 5, cv::Size(1920,1080));
改为:
videowriter.open(filePath, cv::CAP_FFMPEG, cv::VideoWriter::fourcc('a','v','c','1'), 5, cv::Size(1920,1080));
修改原因:mp4v 编码不是h264导致短视频无法被部分播放器支持(前端浏览器),使用avc1 编码格式则为h264
2023/1/31 更新:
破案了,是frames帧组在读取环形缓存时没有cv::Mat.clone(),导致内部数据变更,导致写入失败。