AVFoundation框架解析（八）—— 优化用户的播放体验

版本记录

版本号	时间
V1.0	2017.08.31

前言

AVFoundation框架是ios中很重要的框架，所有与视频音频相关的软硬件控制都在这个框架里面，接下来这几篇就主要对这个框架进行介绍和讲解。感兴趣的可以看我上几篇。
1. AVFoundation框架解析（一）—— 基本概览
2. AVFoundation框架解析（二）—— 实现视频预览录制保存到相册
3. AVFoundation框架解析（三）—— 几个关键问题之关于框架的深度概括
4. AVFoundation框架解析（四）—— 几个关键问题之AVFoundation探索（一）
5. AVFoundation框架解析（五）—— 几个关键问题之AVFoundation探索（二）
6. AVFoundation框架解析（六）—— 视频音频的合成（一）
7. AVFoundation框架解析（七）—— 视频组合和音频混合调试

Refining The User Experience

绍了AVFoundation的一些其他功能，可用于进一步自定义和优化应用的播放体验。

---

Presenting Chapter Markers - 展现章节的标记

章节标记使用户能够快速浏览您的内容。 如果在当前播放的资源中找到标记，tvOS和macOS中的AVPlayerViewController将自动显示章节选择界面。 只要您想创建自己的自定义章节选择界面，您可以直接检索此数据。

章节标记是一种定时元数据。 这是前面几篇文章其他部分所讨论的相同的元数据，但不适用于整个资产，它仅适用于资产时间表内的时间范围。 您可以使用chapterMetadataGroupsBestMatchingPreferredLanguages：或chapterMetadataGroupsWithTitleLocale：containsItemsWithCommonKeys：方法来检索资产的章节元数据。 在异步加载资源的availableChapterLocales键的值之后，这些方法可以被调用而不阻塞。

下面看一下代码

let asset = AVAsset(url: <# Asset URL #>)
let chapterLocalesKey = "availableChapterLocales"
 
asset.loadValuesAsynchronously(forKeys: [chapterLocalesKey]) {
    var error: NSError?
    let status = asset.statusOfValue(forKey: chapterLocalesKey, error: &error)
    if status == .loaded {
        let languages = Locale.preferredLanguages
        let chapterMetadata = asset.chapterMetadataGroups(bestMatchingPreferredLanguages: languages)
        // Process chapter metadata
    }
    else {
        // Handle other status cases
    }
}

从这些方法返回的值是一个AVTimedMetadataGroup对象的数组，每个对象代表一个单独的章标记。 AVTimedMetadataGroup对象由CMTimeRange组成，定义其元数据应用的时间范围，表示章节标题的AVMetadataItem对象数组，以及可选的缩略图。 以下示例显示如何将AVTimedMetadataGroup数据转换为名为Chapter的自定义模型对象数组，以在应用程序的视图层中显示：

func convertTimedMetadataGroupsToChapters(groups: [AVTimedMetadataGroup]) -> [Chapter] {
    return groups.map { group -> Chapter in
 
        // Retrieve AVMetadataCommonIdentifierTitle metadata items
        let titleItems =
            AVMetadataItem.metadataItems(from: group.items,
                                         filteredByIdentifier: AVMetadataCommonIdentifierTitle)
 
        // Retrieve AVMetadataCommonIdentifierTitle metadata items
        let artworkItems =
            AVMetadataItem.metadataItems(from: group.items,
                                         filteredByIdentifier: AVMetadataCommonIdentifierArtwork)
 
        var title = "Default Title"
        var image = UIImage(named: "placeholder")!
 
        if let titleValue = titleItems.first?.stringValue {
            title = titleValue
        }
 
        if let imgData = artworkItems.first?.dataValue, imageValue = UIImage(data: imgData) {
            image = imageValue
        }
 
        return Chapter(time: group.timeRange.start, title: title, image: image)
    }
}

通过相关数据转换，您可以构建一个章节选择界面，并使用该章节对象的时间值，使用播放器的seekToTime：方法来查找当前的演示。

---

Selecting Media Options - 选择媒体选项

作为开发人员，您希望让您的应用程序尽可能广泛的受众群体访问。 扩展应用程序覆盖面的一种方法是使用户可以使用其母语，并为有听力障碍或其他辅助功能需求的用户提供支持。 AVKit和AVFoundation可以通过提供内容支持来显示字幕和隐藏字幕以及选择其他音频和视频轨迹来轻松处理这些问题。 如果您正在构建自己的自定义播放器或想呈现自己的媒体选择界面，则可以使用AVFoundation的AVMediaSelectionGroup和AVMediaSelectionOption类提供的功能。

AVMediaSelectionOption模拟源媒体中包含的替代音频，视频或文本轨道。 媒体选项用于选择替代摄像机角度，呈现用户母语配音，或显示字幕和隐藏字幕。 您可以通过异步加载和调用资产的availableMediaCharacteristicsWithMediaSelectionOptions属性来确定可用的其他媒体演示文稿，该属性返回一个字符串数组，指示可用的媒体特性。 返回的可能值是AVMediaCharacteristicAudible（替代音轨），AVMediaCharacteristicVisual（替代视频轨道）和AVMediaCharacteristicLegible（字幕和隐藏式字幕）。

在您检索到可用选项数组之后，您可以调用资产的mediaSelectionGroupForMediaCharacteristic：方法，传递所需的特征。 此方法返回相关联的AVMediaSelectionGroup对象，如果不存在指定特征的组，则返回nil。

AVMediaSelectionGroup充当相互排斥的AVMediaSelectionOption对象集合的容器。 以下示例显示如何检索资产的媒体选择组并显示其可用选项：

for characteristic in asset.availableMediaCharacteristicsWithMediaSelectionOptions {
 
    print("\(characteristic)")
 
    // Retrieve the AVMediaSelectionGroup for the specified characteristic.
    if let group = asset.mediaSelectionGroup(forMediaCharacteristic: characteristic) {
        // Print its options.
        for option in group.options {
            print("  Option: \(option.displayName)")
        }
    }
}

包含音频和字幕媒体选项的资源的输出类似于以下内容：

[AVMediaCharacteristicAudible]
  Option: English
  Option: Spanish

[AVMediaCharacteristicLegible]
  Option: English
  Option: German
  Option: Spanish
  Option: French

在为特定媒体特性检索到AVMediaSelectionGroup对象并标识所需的AVMediaSelectionOption对象后，下一步是选择它。 通过在激活的或者可用的AVPlayerItem上调用selectMediaOption：inMediaSelectionGroup：来选择媒体选项。 例如，要呈现资产的西班牙语字幕选项，您可以选择如下：

if let group = asset.mediaSelectionGroup(forMediaCharacteristic: AVMediaCharacteristicLegible) {
    let locale = Locale(identifier: "es-ES")
    let options =
        AVMediaSelectionGroup.mediaSelectionOptions(from: group.options, with: locale)
    if let option = options.first {
        // Select Spanish-language subtitle option
        playerItem.select(option, in: group)
    }
}

选择媒体选项可使其立即可用于演示。 选择字幕或闭路字幕选项会在AVPlayerViewController，AVPlayerView和AVPlayerLayer提供的视频显示中显示相关文本。 选择替代音频或视频选项将当前呈现的媒体替换为新选择的媒体。

注意：从iOS 7.0和OS X 10.9开始，AVPlayer根据用户的系统偏好设置提供自动媒体选择作为其默认行为。 要控制媒体选择的显示方式，请通过将播放器的applicMediaSelectionCriteriaAutomatically值设置为NO来禁用默认行为。

---

Working with the iOS Audio Environment - 处理ios的音频环境

您可以使用iOS音频会话API来定义应用程序的一般音频行为及其在其运行的设备的整体音频环境中的作用。 以下部分介绍了管理和控制应用程序音频播放的其他方法以及如何响应较大的iOS音频环境中的更改。

1. Playing Background Audio - 播放背景音频

许多媒体播放应用程序的一个常见功能是在应用程序发送到后台时继续播放音频。 这可能是用户切换应用程序或锁定设备的结果。 要启用应用程序播放背景音频，请首先配置应用的功能和音频会话，如配置iOS和tvOS的音频设置中所述。

如果您正在播放音频资源（如MP3或M4A文件），则您的设置完成，您的应用程序可以播放背景音频。 如果您需要播放视频资产的音频部分，则需要执行额外的步骤。 如果播放器的当前项目在设备的显示屏上显示视频，则当应用程序发送到后台时，AVPlayer的播放会自动暂停。 如果要继续播放音频，请在进入后台时断开AVPlayer实例与展示的连接，并在返回前台时将其重新连接，如下例所示：

func applicationDidEnterBackground(_ application: UIApplication) {
    // Disconnect the AVPlayer from the presentation when entering background
 
    // If presenting video with AVPlayerViewController
    playerViewController.player = nil
 
    // If presenting video with AVPlayerLayer
    playerLayer.player = nil
}
 
func applicationWillEnterForeground(_ application: UIApplication) {
    // Reconnect the AVPlayer to the presentation when returning to foreground
 
    // If presenting video with AVPlayerViewController
    playerViewController.player = player
 
    // If presenting video with AVPlayerLayer
    playerLayer.player = player
}

2. Controlling Background Audio - 控制背景音频

如果您的应用程序在后台播放音频，则应在“控制中心”和“iOS锁定”屏幕中支持远程控制播放。 除了控制播放，您还应该在这些界面中提供有关当前正在播放的内容的有意义的信息。 要实现此功能，您可以使用MediaPlayer框架的MPRemoteCommandCenter和MPNowPlayingInfoCenter类。

MPRemoteCommandCenter类可用于处理由外部附件和系统传输控件发送的远程控制事件的对象。 它以MPRemoteCommand对象的形式定义了各种命令，您可以在其中附加自定义事件处理程序来控制应用程序中的播放。 例如，为了远程控制应用程序的播放和暂停行为，您可以参考共享的命令中心，并为相应的命令提供处理程序，如下所示：

func setupRemoteTransportControls() {
    // Get the shared MPRemoteCommandCenter
    let commandCenter = MPRemoteCommandCenter.shared()
 
    // Add handler for Play Command
    commandCenter.playCommand.addTarget { [unowned self] event in
        if self.player.rate == 0.0 {
            self.player.play()
            return .success
        }
        return .commandFailed
    }
 
    // Add handler for Pause Command
    commandCenter.pauseCommand.addTarget { [unowned self] event in
        if self.player.rate == 1.0 {
            self.player.pause()
            return .success
        }
        return .commandFailed
    }
}

上述示例显示如何使用addTargetWithHandler：方法添加命令中心的playCommand和pauseCommand的处理程序。 您给此方法的回调块要求您返回MPRemoteCommandHandlerStatus值，指示命令是成功还是失败。

配置远程命令处理程序后，下一步是提供元数据以显示在iOS锁定屏幕和控制中心的传输区域中。 您使用MPMediaItem和MPNowPlayingInfoCenter定义的键提供元数据字典，并在MPNowPlayingInfoCenter的默认实例上设置该字典。 以下示例说明如何为当前呈现的媒体设置标题和图稿以及播放时间值：

func setupNowPlaying() {
    // Define Now Playing Info
    var nowPlayingInfo = [String : Any]()
    nowPlayingInfo[MPMediaItemPropertyTitle] = "My Movie"
    if let image = UIImage(named: "lockscreen") {
        nowPlayingInfo[MPMediaItemPropertyArtwork] =
            MPMediaItemArtwork(boundsSize: image.size) { size in
                return image
        }
    }
    nowPlayingInfo[MPNowPlayingInfoPropertyElapsedPlaybackTime] = playerItem.currentTime().seconds
    nowPlayingInfo[MPMediaItemPropertyPlaybackDuration] = playerItem.asset.duration.seconds
    nowPlayingInfo[MPNowPlayingInfoPropertyPlaybackRate] = player.rate
 
    // Set the metadata
    MPNowPlayingInfoCenter.default().nowPlayingInfo = nowPlayingInfo
}

该示例通过动态时序作为nowPlayingInfo字典的一部分，它允许您在远程控制接口中呈现播放器时间和进度。 当您这样做时，请在应用程序进入后台提供此时间的最新快照。 如果以重大的方式媒体信息或时间更改，您还可以在应用程序在后台更新nowPlayingInfo。

3. Responding to Interruptions - 响应中断

中断是iOS用户体验的常见部分。 例如，如果您在“视频”应用中观看电影，并且您收到电话或FaceTime请求，会发生什么。 在这种情况下，您的电影的音频会快速淡出，播放暂停，铃声的声音会消失。如果您拒绝通话或请求，则会将控制权返回给“视频”应用程序，并重新开始播放电影的音频 在这个行为的中心是你的应用程序的AVAudioSession。 随着中断的开始和结束，它会通知任何已注册的观察者，以便他们可以采取适当的措施。 AVPlayer知道您的音频会话，并响应AVAudioSession中断事件自动暂停和恢复播放。 要观察此AVPlayer的行为，请使用键值观察（KVO）播放器的速率属性，以便您可以在播放器暂停并恢复响应中断时更新用户界面。

您还可以直接观察AVAudioSession发布的中断通知。 如果您想知道播放是否由于中断或其他原因（例如路由更改）而暂停，这可能很有用。 要观察音频中断，首先注册以观察AVAudioSessionInterruptNotification类型的通知。

func setupNotifications() {
    let notificationCenter = NotificationCenter.default
    notificationCenter.addObserver(self,
                                   selector: #selector(handleInterruption),
                                   name: .AVAudioSessionInterruption,
                                   object: nil)
}
 
func handleInterruption(notification: Notification) {
 
}

发布的NSNotification对象包含一个填充的userInfo字典，提供中断的详细信息。 您可以通过从userInfo字典中检索AVAudioSessionInterruptionType值来确定中断的类型。 中断类型表示中断是开始还是已经结束。

func handleInterruption(notification: Notification) {
    guard let userInfo = notification.userInfo,
        let typeValue = userInfo[AVAudioSessionInterruptionTypeKey] as? UInt,
        let type = AVAudioSessionInterruptionType(rawValue: typeValue) else {
            return
    }
    if type == .began {
        // Interruption began, take appropriate actions
    }
    else if type == .ended {
        if let optionsValue = userInfo[AVAudioSessionInterruptionOptionKey] as? UInt {
            let options = AVAudioSessionInterruptionOptions(rawValue: optionsValue)
            if options.contains(.shouldResume) {
                // Interruption Ended - playback should resume
            } else {
                // Interruption Ended - playback should NOT resume
            }
        }
    }
}

如果中断类型为AVAudioSessionInterruptionTypeEnded，则userInfo字典包含AVAudioSessionInterruptOptions值，用于确定播放是否应自动恢复。

4. Responding to Route Changes - 路径更改响应

AVAudioSession处理的重要职责是管理音频路由更改。 当音频输入或输出添加到iOS设备或从iOS设备中删除时，会发生路由更改。 发生路由更改的原因有很多，其中包括用户插入一副耳机，连接蓝牙LE耳机或拔下USB音频接口。 发生这些更改时，AVAudioSession会相应地重新路由音频信号，并向任何已注册的观察者广播包含更改详情的通知。

当用户插入或删除一副耳机时，会发生与路线变化相关的重要要求（请参阅iOS人机接口指南中的声音）。 当用户连接一对有线或无线耳机时，它们隐含地指示音频播放应该继续，但是是私有的。 他们期待一个正在播放媒体的应用程序继续播放，而不会暂停。 当用户拔掉耳机时，他们不想自动分享他们正在听的内容。 应用程序应遵守隐私隐私请求，并在耳机被移除时自动暂停播放。

AVPlayer知道您的应用程序的音频会话，并适当地响应路由更改。 连接耳机时，播放会按预期方式继续播放。 拔下耳机后，播放会自动暂停。 要观察此AVPlayer行为，请使用KVO播放器的速率属性，以便您可以在播放器暂停以响应音频路由更改时更新用户界面。

您还可以直接观察AVAudioSession发布的任何路线更改通知。 如果您希望在用户连接或删除耳机时收到通知，这样您可以在播放器界面中显示图标或信息，这可能很有用。 要观察音频路由更改，您首先注册以观察AVAudioSessionRouteChangeNotification类型的通知。

func setupNotifications() {
    let notificationCenter = NotificationCenter.default
    notificationCenter.addObserver(self,
                                   selector: #selector(handleRouteChange),
                                   name: .AVAudioSessionRouteChange,
                                   object: nil)
}
 
func handleRouteChange(notification: Notification) {
 
}

发布的NSNotification对象包含一个填充的userInfo字典，提供路由更改的详细信息。 您可以通过从userInfo字典中检索AVAudioSessionRouteChangeReason值来确定此更改的原因。 当连接一个新设备时，原因是AVAudioSessionRouteChangeReasonNewDeviceAvailable，当一个被删除时，它是AVAudioSessionRouteChangeReasonOldDeviceUnavailable。

func handleRouteChange(notification: Notification) {
    guard let userInfo = notification.userInfo,
        let reasonValue = userInfo[AVAudioSessionRouteChangeReasonKey] as? UInt,
        let reason = AVAudioSessionRouteChangeReason(rawValue:reasonValue) else {
            return
    }
    switch reason {
    case .newDeviceAvailable:
        // Handle new device available.
    case .oldDeviceUnavailable:
        // Handle old device removed.
    default: ()
    }
}

当新设备可用时，您要求AVAudioSession的当前路由确定当前路由的音频输出位置。 这将返回列出所有音频会话的输入和输出的AVAudioSessionRouteDescription。 删除设备后，从用户信息字典中检索先前路由的AVAudioSessionRouteDescription。 在这两种情况下，您可以查询路由描述的输出，它返回一个AVAudioSessionPortDescription对象数组，提供音频输出路由的详细信息。

func handleRouteChange(notification: Notification) {
    guard let userInfo = notification.userInfo,
        let reasonValue = userInfo[AVAudioSessionRouteChangeReasonKey] as? UInt,
        let reason = AVAudioSessionRouteChangeReason(rawValue:reasonValue) else {
            return
    }
    switch reason {
    case .newDeviceAvailable:
        let session = AVAudioSession.sharedInstance()
        for output in session.currentRoute.outputs where output.portType == AVAudioSessionPortHeadphones {
            headphonesConnected = true
            break
        }
    case .oldDeviceUnavailable:
        if let previousRoute =
            userInfo[AVAudioSessionRouteChangePreviousRouteKey] as? AVAudioSessionRouteDescription {
            for output in previousRoute.outputs where output.portType == AVAudioSessionPortHeadphones {
                headphonesConnected = false
                break
            }
        }
    default: ()
    }
}

后记

未完，待续~~~