AVFoundation框架解析（七）—— 视频组合和音频混合调试

版本记录

版本号	时间
V1.0	2017.08.30

前言

AVFoundation框架是ios中很重要的框架，所有与视频音频相关的软硬件控制都在这个框架里面，接下来这几篇就主要对这个框架进行介绍和讲解。感兴趣的可以看我上几篇。
1. AVFoundation框架解析（一）—— 基本概览
2. AVFoundation框架解析（二）—— 实现视频预览录制保存到相册
3. AVFoundation框架解析（三）—— 几个关键问题之关于框架的深度概括
4. AVFoundation框架解析（四）—— 几个关键问题之AVFoundation探索（一）
5. AVFoundation框架解析（五）—— 几个关键问题之AVFoundation探索（二）
6. AVFoundation框架解析（六）—— 视频音频的合成（一）

Introduction

AVFoundation框架提供了一组功能丰富的类，以便于编辑音视频资源。 AVFoundation的编辑API的核心是由AVComposition对象定义的组合。 组合仅仅是来自一个或多个不同媒体资产的轨道集合。 AVMutableComposition类提供了一个用于插入和删除轨道以及管理其时间顺序的接口。 AVComposition对象中的轨道是固定的。

如果您想在组合中的轨道上执行任何自定义音频或视频处理，则需要分别包含音频混合或视频构图。 AVAudioMix对象管理用于混合音轨的输入参数。 它允许在播放或其他操作期间在音轨上执行自定义音频处理。 您还可以设置音轨的相对音量和斜坡。

视频构图在其指令的总时间范围内的任何时间描述了要用于产生与该时间对应的合成视频帧的视频轨道的数量和ID。 当使用AV Foundation的内置视频合成器时，视频合成包含的指令可以为每个视频源指定空间变换，不透明度值和裁剪矩形，并且可以通过简单的线性斜坡函数随时间变化。 AVVideoComposition对象表示不可变的视频构图。 AV Foundation框架还提供了一个可变的子类AVMutableVideoComposition，您可以使用它创建新的视频。

很有可能使用完全有效的价值来构建复杂的合成，视频合成和音频合成，从而产生意想不到的效果。 例如，有效的视频合成可能产生源视频轨道的内容完全不存在的帧。

本文档讨论了构建这些问题时的一些常见缺陷，以及更容易调试它们的方法。

---

Common pitfalls

以下是构建复杂的构图，视频构图和音频混合时可能会遇到的一些常见类型的问题。

1. Compositions

Misaligned track segments - 未对齐的轨道段

轨道的对齐可能是错误的。 例如，当将轨迹插入到特定时间的组合中时，可能会发生CMTime值舍入误差的结果。

未对齐的轨道段

2. Video Compositions, Audio Mixes

Gaps between segments - 各部分之间的间隔

不要在视频构图中的段之间留下间隙。 这几乎肯定会导致黑框或最后一帧的延续。

各部分之间的间隔

Misaligned layer instructions - 不对齐层指令

视频构图时间范围与构图轨道段之间可能存在偏差。

不对齐层指令

Misaligned opacity/audio ramps - 不对准的不透明度/音频斜坡

例如，您可能在其中一个坡道上犯了错误，例如过长时间。

不对准的不透明度/音频斜坡

Bogus layer transforms - 虚构层转换

您可能在图层转换矩阵中有错误。 这可能会导致输出超出输出帧边界。

虚构层转换

Static frame for the entire duration of the source asset - 源资源的整个持续时间的静态帧

您可能有一个视频构图在源资源的整个持续时间内生成单个静态帧。 如果将AVMutableVideoComposition的frameDuration设置为资产的持续时间，则可能会发生这种情况。 在视频合成器的处理中，尽管有不同的不透明度，变换等指示，但是在开始时仅产生一帧，然后“保持”指定的持续时间。

源资源的整个持续时间的静态帧

---

Debugging Compositions, Video Compositions and Audio Mixes

1. Visualize the Composition

一种有效的技术是可视化这些技术。 而不是看你的代码，你看看你的合成图片，视频构图和音频混合的图片。

有为此目的设计的示例代码：

• AVCompositionDebugViewer(Mac)
• AVCompositionDebugVieweriOS

这些示例应用程序实现了一个自定义的AVCompositionDebugView类，它提供了形成组合的底层AVComposition，AVVideoComposition和AVAudioMix对象的视觉描述。 参见下图。

只需将AVCompositionDebugView放入您自己的应用程序。 这是一个非互动的视图。 扩展它来绘制您自己的视频说明。 它将帮助您发现组合轨道，视频说明和音频组合中的任何重叠和间隙。

后记

未完，待续~~~