Android音频进阶

前言

在Android2.3中增加了对音频混响的支持，这些API包含在android.media.audiofx包中。
AudioEffect是android audio framework(android 音频框架)提供的音频效果控制的基类。开发者不能直接使用此类，应该使用它的派生类。派生类有：Equalizer，Visualizer，BassBoost，PresetReverb，EnvironmentalReverb
这篇文章我们主要讲一下Visualizer，其他的这里简单介绍一下！
Equalizer，均衡器：
这个设置我们可以增加或降低某一频率的声音响度来达到想要的效果！
BassBoost，重低音控制器：
这个设置我们可以增加低音的强度，一般在电子音乐中使用的比较多！
PresetReverb，预设音场控制器，EnvironmentalReverb，环境混响控制器
这两个比较特殊，Reverb，回响，这两个设置会使音乐通过声音在不同路径传播下造成的反射叠加产生的声音特效！举个例子：比如流行，古典，爵士，电子等或者比如马路，走廊，室内，大厅等！
推荐在游戏场景中应用EnvironmentalReverb，在音乐场景中应用PresetReverb。如果混响作用于主要的音频输出混音器（mix）上，混响将会话ID指定为0需要"android.permission.MODIFY_AUDIO_SETTINGS"权限。

介绍

下面到我们的重点Visualizer，就如字面意思所示，可视化！使用它可以将音频直观的反映的界面上！是Android Audio框架中比较重要的一块内容。在官方的Demo中，我们可以了解它的使用：
①获取实例：

visualizer = new Visualizer(mediaPlayer.getAudioSessionId());

②设置采样值：

visualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[1]);

通过Visualizer.getCaptureSizeRange()这一底层实现的方法来返回一个采样值的范围数组，0为最小值128,1为最大值1024！采样值都为2的n次幂！
③设置监听器

setDataCaptureListener(OnDataCaptureListener listener, rate,iswave,isfft )

先说后面三个参数：rate采样的频率，下边通过方法Visualizer.getMaxCaptureRate()返回最大的采样频率，单位为milliHertz毫赫兹，iswave是波形信号，isfft是频域信号。
第一个参数OnDataCaptureListener接口，这里可以一个它的匿名内部类，然后它有两个回调方法：

onWaveFormDataCapture(Visualizer visualizer, byte[] waveform, int samplingRate)

和

onFftDataCapture(Visualizer visualizer, byte[] fft, int samplingRate)

这两个回调对应着上边的两个参数iswave和isfft！如果iswave为true，isfft为false则会回调onWaveFormDataCapture方法，如果iswave为false，isfft为true则会回调onFftDataCapture方法。
说到这不得不提一下数字信号处理相关的知识，FFT（Fast Fourier Transformation），即快速傅里叶转换，它用于把时域上连续的信号(波形)强度转换成离散的频域信号(频谱)。

这里说一下两个回调方法中的第二个参数byte[] waveform和fft，waveform是波形采样的字节数组，它包含一系列的8位（无符号）的PCM单声道样本，fft是经过FFT转换后频率采样的字节数组，频率范围为0（直流）到采样值的一半！

返回的数据如上图所示：n为采样值；Rf和lf分别对应第k个频率的实部和虚部；如果Fs为采样频率，那么第k个频率为(k*Fs)/(n/2)！
④开始采样

visualizer.setEnabled(true);

注意：这个方法必须在前面的设置都完成之后调用！

示例

这里我们播放一首歌，然后采样得到波形数据，然后绘制在界面上！
MainActivity

import android.media.MediaPlayer;
import android.media.audiofx.Visualizer;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;

public class MainActivity extends AppCompatActivity {
    private MediaPlayer mediaPlayer;
    private Visualizer visualizer;
    private VisualizerView visualizerView;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        visualizerView= (VisualizerView) findViewById(R.id.myview);
        mediaPlayer=MediaPlayer.create(this,R.raw.goodbye_my_lover);
        init();
        mediaPlayer.setOnCompletionListener(new MediaPlayer.OnCompletionListener() {
            public void onCompletion(MediaPlayer mediaPlayer) {
                visualizer.setEnabled(false);//歌曲流完毕，则不再采样
            }
        });
        mediaPlayer.start();
    }

    private void init(){
        visualizer = new Visualizer(mediaPlayer.getAudioSessionId());
        visualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[1]);
        Log.e("CaptureSizeRange",Visualizer.getCaptureSizeRange()[1]+"");//0为128；1为1024
        visualizer.setDataCaptureListener(new Visualizer.OnDataCaptureListener(){

            @Override
            public void onWaveFormDataCapture(Visualizer visualizer, byte[] waveform, int samplingRate) {
                Log.e("onWaveFormDataCapture","调用了！");                visualizerView.updateVisualizer(waveform);
            }

            @Override
            public void onFftDataCapture(Visualizer visualizer, byte[] fft, int samplingRate) {
                Log.e("onFftDataCapture","调用了！");
            }
        } , Visualizer.getMaxCaptureRate()/2, true, false);

        visualizer.setEnabled(true);//这个设置必须在参数设置之后，表示开始采样
    }


    @Override
    protected void onPause() {
        super.onPause();

        if (isFinishing() && mediaPlayer != null) {
            visualizer.release();
            mediaPlayer.release();
            mediaPlayer = null;
        }
    }
}

VisualizerView

import android.content.Context;
import android.graphics.Canvas;
import android.graphics.Color;
import android.graphics.Paint;
import android.graphics.Rect;
import android.util.AttributeSet;
import android.view.MotionEvent;
import android.view.View;

/**
 * Created by Admin on 2016/11/15.
 */

public class VisualizerView extends View {
    private byte[] mBytes;
    private float[] mPoints;
    private Rect mRect = new Rect();

    private Paint mForePaint = new Paint();

    public VisualizerView(Context context) {
        super(context);
        init();
    }

    public VisualizerView(Context context, AttributeSet attrs) {
        super(context, attrs);
        init();
    }

    private void init() {
        mBytes = null;

        mForePaint.setStrokeWidth(1f);
        mForePaint.setAntiAlias(true);
        mForePaint.setColor(Color.rgb(0, 128, 255));
    }

    public void updateVisualizer(byte[] bytes) {
        mBytes = bytes;
        invalidate();
    }

    private byte type = 0;
    @Override
    public boolean onTouchEvent(MotionEvent me)
    {
        // 当用户触碰该组件时，切换波形类型
        if(me.getAction() != MotionEvent.ACTION_DOWN)
        {
            return false;
        }
        type ++;
        if(type >= 3)
        {
            type = 0;
        }
        return true;
    }

    @Override
    protected void onDraw(Canvas canvas) {
        super.onDraw(canvas);

        if (mBytes == null) {
            return;
        }

        mRect.set(0,0,getWidth(),getHeight());
        switch(type) {
            // -------绘制块状的波形图-------
            case 0:
                for (int i = 0; i < mBytes.length - 1; i++) {
                    float left = getWidth() * i / (mBytes.length - 1);
                    // 根据波形值计算该矩形的高度
                    float top = mRect.height()/2 - (byte) (mBytes[i + 1] + 128)
                            * (mRect.height()/2) / 128;
                    float right = left + 1;
                    float bottom = mRect.height()/2;
                    canvas.drawRect(left, top, right, bottom, mForePaint);
                }
                break;
            // -------绘制柱状的波形图（每隔18个抽样点绘制一个矩形）-------
            case 1:
                for (int i = 0; i < mBytes.length - 1; i += 18) {
                    float left = mRect.width() * i / (mBytes.length - 1);
                    // 根据波形值计算该矩形的高度
                    float top = mRect.height()/2 - (byte) (mBytes[i + 1] + 128)
                            * (mRect.height()/2) / 128;
                    float right = left + 6;
                    float bottom = mRect.height()/2;
                    canvas.drawRect(left, top, right, bottom, mForePaint);
                }
                break;
            // -------绘制曲线波形图-------
            case 2:

                // 如果point数组还未初始化
                if (mPoints == null || mPoints.length < mBytes.length * 4) {
                    mPoints = new float[mBytes.length * 4];
                }

                for (int i = 0; i < mBytes.length - 1; i++) {
                    // 计算第i个点的x坐标
                    mPoints[i * 4] = mRect.width() * i / (mBytes.length - 1);
                    // 根据bytes[i]的值（波形点的值）计算第i个点的y坐标
                    mPoints[i * 4 + 1] = mRect.height() / 2
                            + ((byte) (mBytes[i] + 128)) * (mRect.height() / 2) / 128;
                    // 计算第i+1个点的x坐标
                    mPoints[i * 4 + 2] = mRect.width() * (i + 1) / (mBytes.length - 1);
                    // 根据bytes[i+1]的值（波形点的值）计算第i+1个点的y坐标
                    mPoints[i * 4 + 3] = mRect.height() / 2
                            + ((byte) (mBytes[i + 1] + 128)) * (mRect.height() / 2) / 128;
                }
                // 绘制波形曲线
                canvas.drawLines(mPoints, mForePaint);
                break;
        }
    }
}

最后别忘了声明权限：

<uses-permission android:name="android.permission.RECORD_AUDIO"/>

这样就大功告成了!

如果想要展示频谱图：则在onFftDataCapture回调方法中这样做，这个是在采样本为128的情况下写的，采样本长度越长，FFT算法运行时间就越长！：

byte[] model = new byte[fft.length / 2 + 1];
model[0] = (byte) Math.abs(fft[1]);
int j = 1;

for (int i = 2; i < 18;) {
    model[j] = (byte) Math.hypot(fft[i], fft[i + 1]);
    i += 2;
    j++;
}
visualizerView.updateVisualizer(model);

然后在自定义View的ondraw方法中，修改绘制方法：

if (mPoints == null || mPoints.length < mBytes.length * 4) {
    mPoints = new float[mBytes.length * 4];
}

for (int i = 0; i < 9; i++) {  
    if (mBytes[i] < 0) { 
        mBytes[i] = 127;   
    }
    mPoints[i * 4] = mRect.width() * i / 9;  
    mPoints[i * 4 + 1] = mRect.height() / 2;  
    mPoints[i * 4 + 2] = mRect.width() * i / 9;  
    mPoints[i * 4 + 3] = 2 + mRect.height() / 2 + mBytes[i];  
    }  
canvas.drawLines(mPoints, mForePaint);

demo已传github：MyVisualizerDemo

好了，如果想从源码级再深入的了解Android的音频系统，推荐一位大神：林学森
Android音频系统之音频框架
这是一个系列的文章，从音频基础，整个音频框架开始，到系统的核心AudioFlinger，再到AudioPolicyService，最后到应用层的AudioTrack，讲解的比较细致全面！值得一看！

参考文章：
我的Android进阶之旅Android实现音乐示波器、均衡器、重低音和音场功能
Android 音乐频谱实现
android 录音绘制波形
Visualizer 官方API

最后在Github上面找到一个项目，有时间可以了解一下：
ringdroid