HarmonyOS学习路之开发篇—多媒体开发（音频开发 一）

HarmonyOS音频模块支持音频业务的开发，提供音频相关的功能，主要包括音频播放、音频采集、音量管理和短音播放等。

基本概念

• 采样

  采样是指将连续时域上的模拟信号按照一定的时间间隔采样，获取到离散时域上离散信号的过程。

• 采样率

  采样率为每秒从连续信号中提取并组成离散信号的采样次数，单位用赫兹（Hz）来表示。通常人耳能听到频率范围大约在20Hz～20kHz之间的声音。常用的音频采样频率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz、96kHz、192kHz等。

• 声道

  声道是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。

• 音频帧

  音频数据是流式的，本身没有明确的帧的概念，在实际的应用中，为了音频算法处理/传输的方便，一般约定俗成取2.5ms~60ms为单位的数据量为一帧音频。这个时间被称之为“采样时间”，其长度没有特别的标准，它是根据编解码器和具体应用的需求来决定的。

• PCM

  PCM（Pulse Code Modulation），即脉冲编码调制，是一种将模拟信号数字化的方法，是将时间连续、取值连续的模拟信号转换成时间离散、抽样值离散的数字信号的过程。

• 短音

  使用源于应用程序包内的资源或者是文件系统里的文件为样本，将其解码成一个16bit单声道或者立体声的PCM流并加载到内存中，这使得应用程序可以直接用压缩数据流同时摆脱CPU加载数据的压力和播放时重解压的延迟。

• tone音

  根据特定频率生成的波形，比如拨号盘的声音。

• 系统音

  系统预置的短音，比如按键音，删除音等。

约束与限制

• 在使用完AudioRenderer音频播放类和AudioCapturer音频采集类后，需要调用release()方法进行资源释放。
• 音频采集所使用的最终采样率与采样格式取决于输入设备，不同设备支持的格式及采样率范围不同，可以通过AudioManager类的getDevices接口查询。
• 该功能使用需要对应硬件支持，仅支持真机调试。
• 在进行开发之前，需要申请相关权限，保证应用使用音频相关能力的权限，涉及权限如下表。

权限名	说明
ohos.permission.MICROPHONE	允许应用使用麦克风进行录音。
ohos.permission.READ_MEDIA	允许应用读取用户外部存储中的媒体文件信息。
ohos.permission.WRITE_MEDIA	允许应用读写用户外部存储中的媒体文件信息。

音频播放

场景介绍

音频播放的主要工作是将音频数据转码为可听见的音频模拟信号并通过输出设备进行播放，同时对播放任务进行管理。

接口说明

音频播放类AudioRenderer的主要接口

接口名	描述
AudioRenderer(AudioRendererInfo audioRendererInfo, PlayMode pm)	构造函数，设置播放相关音频参数和播放模式，使用默认播放设备。
AudioRenderer(AudioRendererInfo audioRendererInfo, PlayMode pm, AudioDeviceDescriptor outputDevice)	构造函数，设置播放相关音频参数、播放模式和播放设备。
start()	播放音频流。
write(byte[] data, int offset, int size)	将音频数据以byte流写入音频接收器以进行播放。
write(short[] data, int offset, int size)	将音频数据以short流写入音频接收器以进行播放。
write​(float[] data, int offset, int size)	将音频数据以float流写入音频接收器以进行播放。
write​(java.nio.ByteBuffer data, int size)	将音频数据以ByteBuffer流写入音频接收器以进行播放。
pause()	暂停播放音频流。
stop()	停止播放音频流。
release()	释放播放资源。
getCurrentDevice()	获取当前工作的音频播放设备。
setPlaybackSpeed(float speed)	设置播放速度。
setPlaybackSpeed​(AudioRenderer.SpeedPara speedPara)	设置播放速度与音调。
setVolume(ChannelVolume channelVolume)	设置指定声道上的输出音量。
setVolume(float vol)	设置所有声道上的输出音量。
getMinBufferSize​(int sampleRate, AudioStreamInfo.EncodingFormat format, AudioStreamInfo.ChannelMask channelMask)	获取Stream播放模式所需的buffer大小。
getState()	获取音频播放的状态。
getRendererSessionId()	获取音频播放的session ID。
getSampleRate()	获取采样率。
getPosition()	获取音频播放的帧数位置。
setPosition​(int position)	设置起始播放帧位置。
getRendererInfo​()	获取音频渲染信息。
duckVolume​()	降低音量并将音频与另一个拥有音频焦点的应用程序混合。
unduckVolume​()	恢复音量。
getPlaybackSpeed()	获取播放速度、音调参数。
setSpeed(SpeedPara speedPara)	设置播放速度、音调参数。
getAudioTime()	获取播放时间戳信息。
flush()	刷新当前的播放流数据队列。
getMaxVolume()	获取播放流可设置的最大音量。
getMinVolume()	获取播放流可设置的最小音量。
getStreamType()	获取播放流的音频流类型。

开发步骤

1. 构造音频流参数的数据结构AudioStreamInfo，推荐使用AudioStreamInfo.Builder类来构造，模板如下，模板中设置的均为AudioStreamInfo.Builder类的默认值，根据音频流的具体规格来设置具体参数。

AudioStreamInfo audioStreamInfo = new AudioStreamInfo.Builder()
    .sampleRate(AudioStreamInfo.SAMPLE_RATE_UNSPECIFIED)
    .audioStreamFlag(AudioStreamInfo.AudioStreamFlag.AUDIO_STREAM_FLAG_NONE)
    .encodingFormat(AudioStreamInfo.EncodingFormat.ENCODING_INVALID)
    .channelMask(AudioStreamInfo.ChannelMask.CHANNEL_INVALID)
    .streamUsage(AudioStreamInfo.StreamUsage.STREAM_USAGE_UNKNOWN)
    .build();

以真实的播放pcm流为例：

AudioStreamInfo audioStreamInfo = new AudioStreamInfo.Builder().sampleRate(44100) // 44.1kHz
    .audioStreamFlag(AudioStreamInfo.AudioStreamFlag.AUDIO_STREAM_FLAG_MAY_DUCK) // 混音
    .encodingFormat(AudioStreamInfo.EncodingFormat.ENCODING_PCM_16BIT) // 16-bit PCM
    .channelMask(AudioStreamInfo.ChannelMask.CHANNEL_OUT_STEREO) // 双声道输出
    .streamUsage(AudioStreamInfo.StreamUsage.STREAM_USAGE_MEDIA) // 媒体类音频
    .build();

2. 使用创建的音频流构建音频播放的参数结构AudioRendererInfo，推荐使用AudioRendererInfo.Builder类来构造，模板如下，模板中设置的均为AudioRendererInfo.Builder类的默认值，根据音频播放的具体规格来设置具体参数。

AudioRendererInfo audioRendererInfo = new AudioRendererInfo.Builder().audioStreamInfo(audioStreamInfo)
    .audioStreamOutputFlag(AudioRendererInfo.AudioStreamOutputFlag.AUDIO_STREAM_OUTPUT_FLAG_NONE)
    .bufferSizeInBytes(0)
    .isOffload(false)
    .sessionID(AudioRendererInfo.SESSION_ID_UNSPECIFIED)
    .build();

以真实的播放pcm流为例：

AudioRendererInfo audioRendererInfo = new AudioRendererInfo.Builder().audioStreamInfo(audioStreamInfo)
    .audioStreamOutputFlag(AudioRendererInfo.AudioStreamOutputFlag.AUDIO_STREAM_OUTPUT_FLAG_DIRECT_PCM) // pcm格式的输出流
    .bufferSizeInBytes(100)
    .isOffload(false) // false表示分段传输buffer并播放，true表示整个音频流一次性传输到HAL层播放
    .build();

3. 根据要播放音频流指定PlayMode，不同的PlayMode在写数据时存在差异，详情见步骤7，其余播放流程是无区别的。并通过构造函数获取AudioRenderer类的实例化对象。

4. 使用构造函数获取AudioRenderer类的实例化对象，其中步骤2、步骤3中的数据为构造函数的必选参数，指定播放设备为可选参数，根据使用场景选择不同的构造函数。

5. （可选）构造音频播放回调，首先构造对象AudioInterrupt，其中setInterruptListener方法的入参需要实现接口类InterruptListener，setStreamInfo方法使用步骤1的AudioStreamInfo作为入参。然后调用AudioManager类的activateAudioInterrupt(AudioInterrupt interrupt)方法进行音频播放回调注册。代码示例如下：

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
AudioInterrupt audioInterrupt = new AudioInterrupt();
AudioManager audioManager = new AudioManager();
audioInterrupt.setStreamInfo(audioStreamInfo);
audioInterrupt.setInterruptListener(new AudioInterrupt.InterruptListener() {
    @Override
    public void onInterrupt(int type, int hint) {
        if (type == AudioInterrupt.INTERRUPT_TYPE_BEGIN
                && hint == AudioInterrupt.INTERRUPT_HINT_PAUSE) {
            renderer.pause();
        } else if (type == AudioInterrupt.INTERRUPT_TYPE_BEGIN
                && hint == AudioInterrupt.INTERRUPT_HINT_NONE) {

        } else if (type == AudioInterrupt.INTERRUPT_TYPE_END && (
                hint == AudioInterrupt.INTERRUPT_HINT_NONE
                        || hint == AudioInterrupt.INTERRUPT_HINT_RESUME)) {
            renderer.start();
        } else {
            HiLog.warn(TAG, "unexpected type or hint");
        }
    }
});
audioManager.activateAudioInterrupt(audioInterrupt);

6. 调用AudioRenderer实例化对象的start()方法启动播放任务

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
renderer.start();

7. 将要播放的音频数据读取为byte流或short流，对于选择MODE_STREAM模式的PlayMode，需要循环调用write方法进行数据写入。对于选择MODE_STATIC模式的PlayMode，只能通过调用一次write方法将要播放的音频数据全部写入，因此该模式限制在文件规格较小的音频数据播放场景下才能使用

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
String Path = "resources/***/***.pcm"; // 自定义pcm文件
BufferedInputStream bis1 = null;
try {
    RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path).openRawFileDescriptor();
    FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
    bis1 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
    int minBufferSize = renderer.getMinBufferSize(44100, AudioStreamInfo.EncodingFormat.ENCODING_PCM_16BIT,  
    AudioStreamInfo.ChannelMask.CHANNEL_OUT_STEREO);
    byte[] buffers = new byte[minBufferSize];
    while ((bis1.read(buffers)) != -1) {
    boolean write1 = renderer.write(buffers, 0, buffers.length);
    renderer.flush();
    }
    } catch (Exception e) {
    e.printStackTrace();
    } finally {
    if (bis1!=null){
       try {
        bis1.close();
           } catch (IOException e) {
        e.printStackTrace();
        }
    }
   }

BufferedInputStream bis2 = null;
try {
    RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path).openRawFileDescriptor();
    FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
    bis2 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
    int minBufferSize = renderer.getMinBufferSize(44100, AudioStreamInfo.EncodingFormat.ENCODING_PCM_16BIT,  
    AudioStreamInfo.ChannelMask.CHANNEL_OUT_STEREO);
    byte[] buffers = new byte[minBufferSize];
    int len ;
    while ((len = bis2.read(buffers)) != -1) {
    short[] shorts = new short[len];
    boolean write2 = renderer.write(shorts, 0, shorts.length);
    renderer.flush();
    }
    } catch (Exception e) {
    e.printStackTrace();
    } finally {
    if (bis2!=null){
       try {
        bis2.close();
           } catch (IOException e) {
        e.printStackTrace();
        }
    }
   }

AudioRenderer renderer1 = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STATIC);
String Path1 = "resources/***/***.pcm";
BufferedInputStream bis3 = null;
try {
   RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path1).openRawFileDescriptor();
   FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
   bis3 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
   byte[] bytes = new byte[bis3.available()];
   boolean write3 = renderer1.write(bytes, 0, bytes.length);
   } catch (IOException e) {
     e.printStackTrace();
   }finally {
    if (bis3!=null){
        try {
         bis3.close();
        } catch (IOException e) {
        e.printStackTrace();
        }
       }
  }

BufferedInputStream bis4 = null;
try {
   RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path1).openRawFileDescriptor();
   FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
   bis4 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
   short[] shorts = new short[bis4.available()];
   boolean write4 = renderer1.write(shorts, 0, shorts.length);
   } catch (IOException e) {
     e.printStackTrace();
   }finally {
    if (bis4!=null){
        try {
         bis4.close();
        } catch (IOException e) {
        e.printStackTrace();
        }
       }
  }

8. （可选）当需要对音频播放进行暂停或停止时，调用AudioRenderer实例化对象的pause()或stop()方法进行暂停或停止播放。

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
renderer.pause();

9. （可选）调用AudioRenderer实例化对象的setSpeed调节播放速度，setVolume调节播放音量。

renderer.setSpeed(0.5f);
renderer.setVolume(0.5f);
renderer.stop();

10. 播放任务结束后，调用AudioRenderer实例化对象的release()释放资源。

renderer.release();