《AVFoundation》官方文档08--时间和媒体表示

基于时间的视听数据，例如电影文件或视频流，在AV Foundation框架中被表示AVAsset。其结构决定了大部分的框架作品。AV Foundation用来表示时间和媒体的几个低级数据结构，如样本缓冲区来自Core Media框架。

Asset表示

AVAsset是AVFoundation框架的核心课程。它提供了基于时间的视听数据的格式无关抽象，例如电影文件或视频流。主要关系如图6-1所示。在许多情况下，您可以使用其子类之一：创建新资源时使用组合子类（请参阅编辑），并且您可以使用AVURLAsset从给定URL（包括MPMedia框架的Asset或从MPMedia框架的Asset）创建新的Asset实例Asset库框架 - 请参阅使用Asset）。

图6-1 AVAsset提供了基于时间的视听数据的抽象

Asset包含旨在一起显示或处理的每个轨道的集合，每个轨道均包含（但不限于）音频，视频，文本，隐藏式字幕和字幕。Asset对象提供有关整个资源的信息，例如其持续时间或标题，以及呈现的提示，如自然大小。Asset也可能具有由实例表示的元数据AVMetadataItem。

轨道由一个实例AVAssetTrack表示，如图6-2所示。在典型的简单情况下，一个音轨表示音频分量，另一个表示视频分量; 在复杂的组合中，可能存在多个重叠的音频和视频轨道。

图6-2 AVAssetTrack

轨道具有许多属性，例如其类型（视频或音频），视觉和/或听觉特征（酌情），元数据和时间轴（以其父Asset的方式表示）。轨道还具有一系列格式描述。数组包含CMFormatDescription对象（参见CMFormatDescriptionRef），每个对象描述了轨道引用的媒体样本的格式。包含统一媒体（例如，使用相同设置编码的曲目）的曲目将提供一个计数为1的数组。

轨道本身可以分为段，由实例表示AVAssetTrackSegment。段是从源到Asset轨道时间线的时间映射。

时间的表示

AVFoundation的时间由Core Media框架的原始结构表示。

CMTime表示时间长度

CMTime
是一个表示时间为有理数字的C结构，分子（int64_t值）和分母（int32_t
时间刻度）。在概念上，时间刻度指定分子占据的每个单位的分数。
因此，如果时间刻度是4，每个单位代表四分之一秒; 如果时间尺度为10，则每个单位表示十分之一秒，依此类推。您经常使用600的时间刻度，因为这是几种常用的帧速率的倍数：24 fps的电影，30 fps的NTSC（用于北美和日本的电视）和25 fps的PAL（用于欧洲电视）。使用600的时间刻度，您可以准确地表示这些系统中的任何数量的帧。

除了简单的时间值之外，CMTime结构可以表示非数值值：+无穷大，-infinity和无限期。它也可以指示时间是否在某点被舍入，并且它保持一个时代数字。

使用CMTime

您创建一个时间使用CMTimeMake或其中一个相关的功能，如CMTimeMakeWithSeconds（允许您使用浮点数创建一个时间并指定首选时间表）。有几种基于时间的算术和比较时间的功能，如下例所示：

CMTime time1 = CMTimeMake(200, 2); // 200 half-seconds
CMTime time2 = CMTimeMake(400, 4); // 400 quarter-seconds

// time1 and time2 both represent 100 seconds, but using different timescales.
if (CMTimeCompare(time1, time2) == 0) {
NSLog(@"time1 and time2 are the same");
}

Float64 float64Seconds = 200.0 / 3;
CMTime time3 = CMTimeMakeWithSeconds(float64Seconds , 3); // 66.66... third-seconds
time3 = CMTimeMultiply(time3, 3);
// time3 now represents 200 seconds; next subtract time1 (100 seconds).
time3 = CMTimeSubtract(time3, time1);
CMTimeShow(time3);

if (CMTIME_COMPARE_INLINE(time2, ==, time3)) {
NSLog(@"time2 and time3 are the same");
}

有关所有可用功能的列表，请参阅CMTime参考。

CMTime的特殊价值

核心媒体提供了特殊值的常量：kCMTimeZero，kCMTimeInvalid，kCMTimePositiveInfinity，和kCMTimeNegativeInfinity。CMTime例如，结构可以有许多方式表示无效的时间。为了测试是否CMTime是有效的，或者非数字的值，你应该使用合适的微距，例如CMTIME_IS_INVALID，CMTIME_IS_POSITIVE_INFINITY或CMTIME_IS_INDEFINITE。

CMTime myTime = <#Get a CMTime#>;
if (CMTIME_IS_INVALID(myTime)) {
// Perhaps treat this as an error; display a suitable alert to the user.
}

你不应该比较任意CMTime结构的值kCMTimeInvalid。

将CMTime表示为对象

如果需要CMTime在注释或Core Foundation容器中使用结构，则可以分别使用和函数将CMTime结构转换为CFDictionary不透明类型（参见CFDictionaryRef）。您还可以使用该函数获取结构的字符串表示形式。CMTimeCopyAsDictionaryCMTimeMakeFromDictionaryCMTimeCMTimeCopyDescription

Epochs

CMTime结构的时代号通常设置为0，但您可以使用它来区分不相关的时间轴。例如，可以使用呈现循环在每个循环中递增历元，以区分N循环0中的时间N和循环1中的时间。

CMTimeRange表示时间范围

CMTimeRange是具有开始时间和持续时间的C结构，都表示为CMTime
结构。时间范围不包括开始时间加上持续时间的时间。

您使用CMTimeRangeMake或创建时间范围CMTimeRangeFromTimeToTime。对CMTime时代的价值有一些限制：

• CMTimeRange 结构不能跨越不同的时代。
• CMTime表示时间戳的结构中的时期可能不为零，但您只能CMTimeRangeGetUnion对起始字段具有相同历元的范围执行范围操作（例如）。
• CMTime表示持续时间的结构中的时期应始终为0，该值必须为非负数。

使用时间范围

核心媒体提供了可用于确定时间范围是否包含给定的时间或其他时间范围的功能，确定两个时间段是否相等，并计算工会和时间范围的交叉点，例如CMTimeRangeContainsTime，CMTimeRangeEqual，CMTimeRangeContainsTimeRange，和CMTimeRangeGetUnion。

鉴于时间范围不包括开始时间加上持续时间的时间，以下表达式总是计算为false：

CMTimeRangeContainsTime（range，CMTimeRangeGetEnd（range））

有关所有可用函数的列表，请参阅CMTimeRange参考。

CMTimeRange的特殊值

核心媒体提供常数零长度范围和无效范围，kCMTimeRangeZero和kCMTimeRangeInvalid分别。有许多方法，尽管CMTimeRange
结构可能是无效的，或者是零或不确定的（如果其中一个CMTime结构是无限的）如果你需要测试CMTimeRange
结构是有效的，零的还是不确定的，你应该使用适当的宏：CMTIMERANGE_IS_VALID，CMTIMERANGE_IS_INVALID，CMTIMERANGE_IS_EMPTY，或CMTIMERANGE_IS_EMPTY。

CMTimeRange myTimeRange = <#Get a CMTimeRange#>;
if (CMTIMERANGE_IS_EMPTY(myTimeRange)) {
// The time range is zero.
}

你不应该比较任意CMTimeRange结构的值kCMTimeRangeInvalid。

将CMTimeRange结构表示为对象

如果需要CMTimeRange在注释或Core Foundation容器中使用结构，则可以分别使用和/ 或将透明类型（见）转换CMTimeRange为CFDictionary不透明类型的结构。您还可以使用该函数获取结构的字符串表示形式。CFDictionaryRefCMTimeRangeCopyAsDictionaryCMTimeRangeMakeFromDictionaryCMTimeCMTimeRangeCopyDescription

媒体表示

视频数据及其关联的元数据在AV Foundation中由Core Media框架的不透明对象表示。Core Media代表使用CMSampleBuffer（见CMSampleBufferRef）的视频数据。CMSampleBuffer是一种核心基础风格的不透明型; 一个实例包含视频数据帧作为核心视频像素缓冲区的样本缓冲区（参见CVPixelBufferRef）。您可以使用CMSampleBufferGetImageBuffer以下方式从样本缓冲区访问像素缓冲区

CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer（<＃A CMSampleBuffer＃>）;

从像素缓冲区，您可以访问实际的视频数据。有关示例，请参阅将CMSampleBuffer转换为UIImage对象。

除了视频数据外，您还可以检索视频帧的其他方面：

• 时序信息。你得到两个原始演示文稿的时间和使用解码时间准确时间戳CMSampleBufferGetPresentationTimeStamp和CMSampleBufferGetDecodeTimeStamp分别。

• 格式化信息。格式信息封装在CMFormatDescription对象中（参见CMFormatDescriptionRef）。从格式的描述，您可以使用获得例如像素型和视频的尺寸CMVideoFormatDescriptionGetCodecType和CMVideoFormatDescriptionGetDimensions分别。

• 元数据。元数据作为附件存储在字典中。你CMGetAttachment用来检索字典：

    CMSampleBufferRef sampleBuffer = <＃获取一个样本缓冲区＃>;
  
  CFDictionaryRef metadataDictionary =
  
  CMGetAttachment（sampleBuffer，CFSTR（“MetadataDictionary”，NULL）;
  
  if（metadataDictionary）{
  
  //用元数据做某事
  
  }
  

将CMSampleBuffer转换为UIImage对象

以下代码显示了如何将a转换CMSampleBuffer为UIImage对象。使用前请仔细考虑您的要求。执行转换是相对昂贵的操作。例如，从每秒钟拍摄的视频数据帧中创建静止图像是适当的。您不应该使用它来实时地操纵来自捕获设备的每一帧视频。

// Create a UIImage from sample buffer data
- (UIImage *) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer

{
// Get a CMSampleBuffer's Core Video image buffer for the media data
CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
// Lock the base address of the pixel buffer
CVPixelBufferLockBaseAddress(imageBuffer, 0);

// Get the number of bytes per row for the pixel buffer
void *baseAddress = CVPixelBufferGetBaseAddress(imageBuffer);

// Get the number of bytes per row for the pixel buffer
size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);
// Get the pixel buffer width and height
size_t width = CVPixelBufferGetWidth(imageBuffer);
size_t height = CVPixelBufferGetHeight(imageBuffer);

// Create a device-dependent RGB color space
CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();

// Create a bitmap graphics context with the sample buffer data
CGContextRef context = CGBitmapContextCreate(baseAddress, width, height, 8,
  bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
// Create a Quartz image from the pixel data in the bitmap graphics context
CGImageRef quartzImage = CGBitmapContextCreateImage(context);
// Unlock the pixel buffer
CVPixelBufferUnlockBaseAddress(imageBuffer,0);

// Free up the context and color space
CGContextRelease(context);
CGColorSpaceRelease(colorSpace);

// Create an image object from the Quartz image
UIImage *image = [UIImage imageWithCGImage:quartzImage];

// Release the Quartz image
CGImageRelease(quartzImage);

return (image);
}