【C#】使用ffmpeg image2pipe将图片保存为mp4视频

原文链接: 

https://blog.csdn.net/catshitone/article/details/126930470

需求点:

  1. 将图片保存为视频
  2. 图片数量不是固定的,是由上游的webrtc传下的帧数据,转成的bitmap。所以只要webrtc开着,图片流就一直会有。
  3. 每帧图像的间隔时间依赖于不同的网络环境,所以不是固定的时间间隔。

在使用原生ffmpeg之前,笔者使用了几个第三方的nuget库,如:FFmpeg.AutoGen、Xabe.FFmpeg、Accord.Video.FFMPEG。前两个库要么只支持将文件夹里现有的图片保存为mp4,要么不支持设置每帧的PTS,导致生成的mp4播放速度太快。最后选用了Accord.Video.FFMPEG,这个库能满足上述的三个需求点。无奈此库已长期不维护,当上游的FPS>15时,WriteVideoFrame方法抛出异常的频率会大大提升,导致内存泄漏,而且当前帧也会被丢掉。

然后项目使用的是.net452,一时半会版本也升级不上去,这就过滤大多数的nuget库。最后,只能使用的原生的ffmpeg了。
ffmpeg只是提供了一个exe,并没有官方的API可供我们调用,只提供了一大堆的参数说明,真是令人头大。经过不断的看文档和搜索调试之后,发现配置以下参数可以达到我们的需求。

-f image2pipe -use_wallclock_as_timestamps 1 -i - -c:v libx264 -pix_fmt yuv420p -vsync passthrough -maxrate 5000k  -an -y 123.mp4

以下对各参数做个简单介绍:

  1. image2pipe:使用图片管道,我们可以将图片数据一直往管道里塞,ffmpeg会不断将其添加到mp4文件中。用来满足需求1和2.
  2. use_wallclock_as_timestamps 1:开启此选项,ffmpeg就会将接收此图片的时间作为该帧的timestamp。这样生成的MP4播放速度才正常,满足需求3.
  3. pix_fmt yuv420p:设置像素格式,解决生成的视频无法使用windows media player播放的问题。
  4. -vsync passthrough:可以理解为动态帧率,根据上游的帧率来决定输出mp4的帧率。默认有以下几个选项:
  5. passthrough :使用帧原始的timestamp.
  6. cfr (1):根据输出帧率的配置,进行自动插帧(上游帧率小于输入帧率)或者丢帧(上游帧率大于输入帧率)。
  7. vfr (2):类似于passthrough, 不过当两帧具有timestamp时会丢弃其中一个。
  8. drop:类似于passthrough,只不过会丢弃帧原始的timstamp,然后重新生成符合帧率要求的timestamp。
  9. auto (-1):默认行为。在cfr和vfr之前自动选择。
  10. maxrate:设置最大比特率
  11. 123.mp4:保存的文件名或者路径,注意里面不要有空格。

最后的C#代码如下,我们需要使用Process类来启动ffmpeg.exe。

public class FfmpegToVideoService 
{
        private bool _isRunning = false;
        private int _fps;
        private readonly Process _proc;

        /// 
        /// Bitmap保存为MP4
        /// 
        /// mp4要保存的路径,如:D:\\a\b\123.mp4
        /// 最大比特率,单位K
        public FfmpegToVideoService(string filePath,int maxBitRate = 5000)
        {
            var formattedPath = Path.GetFullPath(filePath);
            _proc = new Process();
            //-pix_fmt yuv420p -movflags +faststart  -r {30}  -i pipe:.bmp -r {_fps} -timecode 00:00:00.000
            //-vsync cfr自动差值 vfr根据timestamp,重复的丢弃    passthrough根据timestamp重复的不丢  -vsync passthrough
            //-r 30 入帧出帧都是30
            _proc.StartInfo.FileName = @"ffmpeg.exe";
            _proc.StartInfo.Arguments = $"-f image2pipe -use_wallclock_as_timestamps 1 -i - -c:v libx264 -pix_fmt yuv420p -vsync passthrough -maxrate {maxBitRate}k  -an -y {formattedPath}";
            _proc.StartInfo.WorkingDirectory = CommonFunctions.BasePath;
            _proc.StartInfo.UseShellExecute = false;
            _proc.StartInfo.RedirectStandardInput = true;
            _proc.StartInfo.RedirectStandardOutput = true;
            _proc.Start();
        }

		// 将Bitmap数据写入管道
        private void SendToPipe(Bitmap bitmap)
        {
            if (_proc.StartInfo.RedirectStandardInput)
            {
                using (MemoryStream ms = new MemoryStream())
                {
                    bitmap.Save(ms, ImageFormat.Png);
                    ms.WriteTo(_proc.StandardInput.BaseStream);
                }
            }
        }

        /// 
        /// 异步线程启动服务
        /// 
        public override void StartAsync()
        {
            _isRunning = true;
        }

        /// 
        /// 停止服务
        /// 
        public override void Stop()
        {
            _isRunning = false;
            try
            {
                _proc.StartInfo.RedirectStandardInput = false;
                _proc.StartInfo.RedirectStandardOutput = false;
                _proc.StandardInput.Close();
                _proc.StandardOutput.Close();
                _proc.Close();
            }
            catch (Exception ex)
            {
                Log.Error(ex, "");
            }
        }

        /// 
        /// 添加item
        /// 
        /// 
        public override void Add(FrameInfo item)
        {
            if(_isRunning)
            {
                SendToPipe(item.Bitmap);
            }
        }
    }
  1. https://trac.ffmpeg.org/wiki/Slideshow
  2. https://ffmpeg.org/ffmpeg.html#filter_005foption
  3. https://stackoverflow.com/questions/60977555/adding-current-time-as-timestamp-in-h-264-raw-stream-with-few-frames

你可能感兴趣的:(ffmpeg,音视频)