AVFoundation

AVFoundation

• AVAsset

  • AVAsset是一个抽象类和不可变类，定义了媒体资源混合呈现的方式。将媒体资源的静态属性模块化成一个整体。AVAsset本身并不是媒体资源，但是它可以作为时基媒体的容器。它由一个多个带有自身元数据的媒体组成。
  • AVAsset是一个抽象类，意味着它不能直接被实例化。

• AVAssetTrack 类代表保存在资源 中的统一类型媒体，并对每个资源建立相应的模型。

• iOS Assets库

• 异步载入

  • AVAsset具有多种有用的方法和属性，可以提供有关资源的信息、比如 时长、创建日期和元数据等。AVAsset还包含一些用于获取和使用曲目集合的方法。
  • ACAsset使用一种高效的设计方法，即延迟载入资源的属性，直到请求时才载入。强调 属性的访问总是同步发生的。如果正在请求的属性没有预先载入，程序就会阻塞。
  • 媒体元数据
    • 了解媒体的组织格式
    • AVMetadataItem

• 视频播放

  • AVPlayer 是一个用来播放基于时间的视听媒体的控制器对象。支持播放本地、分布下载或通过HTTP Live Streaming 协议得到的流媒体。并在多种播放场景中播放这些视频资源。
  • AVPlayerLayer 构建与Core Animation之上,扩展了Core Animation的CALayer类，并通过框架在屏幕上显示视频内容。这一图层并不提供任何可视化的控件或其他附件。但是他可以用作视频内容的渲染面。创建AVPlayerLayer需要一个指向AVPlayer实例的指针。这就将播放器和土城紧密绑定在一起。
  • AVPlayerItem 由一个或多个媒体曲目组成，由AVPlayerItemTrack类建立模型。AVPlayerItemTrack实例用于表示播放器条目中的类型统一的媒体流，

• 学习框架功能的第一步就是了解其中包含的各个类及每个类所扮演的角色和职责。

• AVAssetReader 用于从资源读取媒体样本，

• AVAssertWrite 用于对媒体资源进行编码写入到容器文件中

• AVAssetReader+AVAssetReaderTrackOutput

• 讲解：

  • AVAssetReader 可以从原始数据里获取解码后的音视频数据。结合AVAssetReaderTrackOutput ，能读取一帧帧的CMSampleBufferRef 。CMSampleBufferRef 可以转化成CGImageRef 。为此，我们可以创建一个ABSMovieDecoder 的一个类来负责视频解码，把读出的每一个CMSampleBufferRef 传递给上层。
  • 1.获取媒体文件的资源AVURLAsset
  • 2.创建一个读取一个媒体数据的阅读器AVAssetReader
  • 3.获取视频轨迹的AVAssetTrack 其实就是我们的视频来源
  • 4.为我们的阅读器AVAssetReader进行配置，如配置读取的像素，视频压缩得到我们的输出端口videoReaderOutput轨迹，也就是我们的数据来源。
  • 5.为阅读器添加输出端口，并开启阅读器

--

捕捉栈

• AVCaptureSession
  捕捉栈的核心类是AVCaptureSession 一个捕捉会话相当于一个虚拟的插线板，用于连接输入和输出的资源。捕捉会话管理从物理设备得到的数据流，输出到一个或多个目的地。可以动态配置输入和输出的线路。
• AVCaptureDevice 提供了一个名为videoZoomFactor的属性，用于控制捕捉设备的缩放级等级，
• 人脸识别的思路:
  • 1.创建一个保存在faceLayer字典中键值的可变副本。这个数组用来确定哪些人脸移出视图。
  • 2.遍历每个转换的人脸对象并捕捉其关联的faceID这个属性唯一标识一个检测到的人脸。
  • 3.如果给定的faceID 没有找到对应的层，调用makeFaceLayer方法创建一个新的人脸图层
  • 4.从lostFaces 数组中将剩下的人脸山从界面中删除掉。

CMSampleBufferRef
* 是一个由Core Media 框架提供的Core Foundataion风格的对象，用于在媒体管道中传输数字样本。

--
读取和写入栈

• AVAssetReader

  • 用于AVAsset实例读取媒体样本。通常会配置一个或多个AVAssetReaderOutput实例，并通过copyNextSampleBuffer方法可以访问音频样本和视频帧。

• AVAssetWriter

  • AVAssetWriter是AVAssetReader对应的兄弟类。它用于对媒体资源进行编码并将其写入到容器文件中。它由一个或多个AVAssetWriterInput对象配置，用于附加将要包含要写入容器的媒体样本的CMSampleBuffer对象。AVAssetWriterInput被配置为可以处理指定的媒体类型。比如音频或视频，并且附加在其后

• 绘制一个音频波形图

  • 三个步骤
  • 1.读取
  • 2.缩减
  • 3.渲染

• 媒体的组合和编辑

• 组合媒体

AVFoundataion 有关资源组合的功能源于AVAsset的子类AVComposition.一个组合就是将其他几种媒体资源组合成一个自定义的临时排列，再将这个临时排列视为一个可以呈现或处理的独立媒体资源。比如AVAsset对象 组合相当于包含了一个或多个给定类型的媒体轨道的容器。AVComposition中的轨道都是AVAssetTrack的子类AVCompositionTrack.一个组合轨道本身由一个或多个媒体片段组成，由AVCompositionTrackSegment类定义，代表这个组合中的实际媒体区域。AVComposition和AVCompositionTrack都是不可变的对象，提供对资源的只读操作。这些对象提供了一个合适的接口让应用程序的一部分进行播放和处理。不过当创建自己的组合时就需要使用AVMutableComposition和AVMutableCompositionTrack所提供的可变子类。 CMTime 结构体 CMTime实例可标记特定的时间点或用于表示持续时间。 CMTimeRange 由两个CMTime值组成，第一个值定义时间范围的起点，第二个值定义时间范围的持续时间。 typedef strcut { CMTime start; CMTime duration; }CMTimeRange;

--
音频

讲解:

    音频 人耳能听到的声音 最低的频率一般从20Hz起一直到最高的最高频
    率20KHZ,因此音频文件格式的最大带宽是20KHZ。只有采样频率高于声
    音信号最高频率的两倍时，才能把数字信号表示的声音还原成原来的声
    音，所以音频文件的采样率是40~50KHZ 比如最常见的CD音质采样率
    44.1KHZ.
    对声音进行采样、量化过程被称为脉冲编码调制简称 PCM. PCM数据是最原始的音频数据完全无损。所以PCM数据虽然音质优秀但体积庞大。

iOS音频播放概述

了解了基础概念之后我们就可以列出一个经典的音频播放流程（以MP3为例）：

    1. 读取MP3文件
    2. 解析采样率、码率、时长等信息，分离MP3中的音频帧
    3. 对分离出来的音频帧解码得到PCM数据
    4. 对PCM数据进行音效处理（均衡器、混响器等，非必须）
    5. 把PCM数据解码成音频信号
    6. 把音频信号交给硬件播放
    7. 重复1-6步直到播放完成

AudioSession简介

    1. 确定你的app如何使用音频（是播放？还是录音？）
    2. 为你的app选择合适的输入输出设备（比如输入用的麦克风，输出是耳机、手机功放或者airplay）
    3. 协调你的app的音频播放和系统以及其他app行为（例如有电话时需要打断，电话结束时需要恢复，按下静音按钮时是否歌曲也要静音等）

第一，AudioSessionInitialize可以被多次执行，但AudioSessionInterruptionListener只能被设置一次，这就意味着这个打断回调方法是一个静态方法，一旦初始化成功以后所有的打断都会回调到这个方法，即便下一次再次调用AudioSessionInitialize并且把另一个静态方法作为参数传入，当打断到来时还是会回调到第一次设置的方法上。

大概流程是这样的：

1. 一个音乐软件A正在播放；
2. 用户打开你的软件播放对话语音，AudioSession active；
3. 音乐软件A音乐被打断并收到InterruptBegin事件；
4. 对话语音播放结束，AudioSession deactive并且传入NotifyOthersOnDeactivation参数；
5. 音乐软件A收到InterruptEnd事件，查看Resume参数，如果是ShouldResume控制音频继续播放，如果是ShouldNotResume就维持打断状态；