AVFoundation编程指南总述

关于AVFoundation

AVFoundation是可用于播放和创建基于时间的音视频媒体的几个框架之一。它提供了一个Objective-C接口，您可以使用它来详细处理基于时间的音视频数据。例如，您可以使用它来检查，创建，编辑或重新编码媒体文件。您还可以从设备获取输入流，并在实时捕获和回放期间处理视频。图I-1显示了iOS上的体系结构。

image

图I-2显示了OS X上相应的媒体体系结构。

image

通常，您应该使用可用的最高级别抽象，来处理你的任务。

• 如果您只想播放电影，请使用AVKit框架。

• 在iOS上，要在只需要对格式进行最小控制的情况下录制视频，请使用UIKit框架（UIImagePickerController）。

但是请注意，您在AV Foundation中使用的某些原始数据结构（包括与时间相关的数据结构以及用于承载和描述媒体数据的不透明对象）是在Core Media框架中声明的。

通过AVFoundation表示和使用媒体

AV Foundation框架用来表示媒体的主要类是AVAsset。框架的设计在很大程度上受这种表现形式的指导。了解其结构将帮助您了解框架的工作原理。一个AVAsset实例是媒体数据的一个或多个片（音频和视频轨道）的集合的聚集表示。它提供有关集合整体的信息，例如其标题，持续时间，自然呈现的大小等。AVAsset与特定的数据格式无关。AVAsset是用于从URL上的媒体创建资产实例（请参阅Using Assets）和创建新合成（请参见Editing）的其他类的超类。

asset中的每个媒体数据都属于统一类型，称为track。在简单情况下，一个track代表音频分量，另一track代表视频分量。但是，在复杂的组成中，可能会有多个重叠的音频和视频track。asset也可能具有元数据。

AV Foundation中的一个重要概念是，正在初始化的asset或track不一定意味着它可以被直接使用。甚至可能需要一段时间来计算项目的持续时间（例如，MP3文件可能不包含摘要信息）。您可以在请求值的同时，通过使用block定义的回调异步返回答案，而不是在计算值时阻塞当前线程。
相关章节： 使用asset，时间和媒体表示形式

播放

AVFoundation允许您以精细的方式管理资产的回放。为此，它将asset的呈现状态与asset本身分开。例如，这使您可以同时播放以不同分辨率渲染的同一asset的两个不同片段。asset的呈现状态由a player item object管理；asset中每个track的呈现状态由player item track对象管理。例如，使用player item and player item tracks，您可以设置播放器呈现项目的视觉部分的大小，设置要在播放期间应用的音频混合参数和视频构图设置，或者禁用播放期间的asset。

您可以使用a player对象播放player items，并将player 的输出定向到 Core Animation laye。您可以使用player queue 按顺序安排播放器项目集合的播放。

相关章节： 播放

读取，写入和重新编码资产

AVFoundation允许您以多种方式创建asset的新表示形式。您可以简单地对现有asset进行重新编码，或者-在iOS 4.1和更高版本中-您可以对资产的内容执行操作，并将结果另存为新asset。

您可以使用export session将现有asset重新编码为由少量常用presets之一定义的格式。如果需要对转换进行更多控制，则在iOS 4.1及更高版本中，可以串联使用asset reader 和 asset writer对象，以将asset从一种表示形式转换为另一种表示形式。例如，使用这些对象，您可以选择要在输出文件中表示的track，指定自己的输出格式或在转换过程中修改asset。

要生成波形的直观表示，请使用asset reader来读取asset的audio track。
Relevant Chapter: Using Assets

缩图

要创建video的缩略图，您需要用asset初始化一个AVAssetImageGenerator实例，然后生成缩略图。AVAssetImageGenerator使用默认启用的视频轨道生成图像。

相关章节： 使用资产

编辑

AVFoundation使用compositions来从现有媒体（通常是一个或多个视频和音频轨道）创建新asset。您可以使用mutable的compositions来添加和删除track，以及调整它们的时间顺序。您还可以设置音频track的音量和倾斜度。并设置视频track的不透明度和不透明度渐变。composition是保存在内存中的媒体片段的组合。使用export session,导出composition时，它会写入到文件中。

您还可以使用asset writer从媒体（例如样本缓冲区或图片）创建asset。

相关章节： 编辑

静止和视频媒体捕获

摄像机和麦克风的录制输入由capture session管理。capture session把从输入设备的数据流转化到输出（例如电影文件）中。即使会话正在运行，也可以为单个会话配置多个输入和输出。您将消息发送到seesion以启动和停止数据流。

此外，您可以使用preview layer的实例向用户显示摄像机正在录制的内容。

相关章节： 静止和视频媒体捕获

与AVFoundation并发编程

不能保证从AVFoundation进行的回调（blocks，KVO和notification）在任何特定线程或队列上进行。而是，AVFoundation在执行其内部任务的线程或队列上调用这些处理。

关于通知和线程，有两个通用准则：

• 与UI相关的通知在主线程上发生。

• 需要您创建和/或指定队列的类或方法将在该队列上返回通知。

除了这两个准则（还有一些例外，在参考文档中已有说明），您不应假定会在任何特定线程上返回通知。

如果要编写多线程应用程序，则可以使用NSThread方法isMainThread或[[NSThread currentThread] isEqual:<#A stored thread reference#>]测试调用线程是否是希望在其上执行工作的线程。您可以使用方法重定向报文到相应的线程，例如performSelectorOnMainThread:withObject:waitUntilDone:和performSelector:onThread:withObject:waitUntilDone:modes:。您还可以使用dispatch_async`“反弹”到适当队列上的块，这些队列可以是UI任务的主队列，也可以是用于并发操作的队列。有关并发操作的更多信息，请参见《并发编程指南》。有关块的更多信息，请参见块编程主题。该AVCam-IOS：使用AVFoundation捕获图像和电影 示例代码被视为所有AVFoundation功能的主要示例，有关AVFoundation的线程和队列使用示例，可​​以参考该示例代码。