Unity - Microphone 测试录音，播放录音，显示音波图（不是Spectrum图）

最近一直找游戏设计灵感。

找着找着，突然想起，以前玩过的一款打飞机游戏，端游，他可以根据你播放的音乐文件来自动发射子弹，玩家不是能自主发射子弹的，当时我就一直拿那个：《劲乐团》里的一首曲子：《V3》- 贝多芬交响曲。

这首曲子，全程高能，整个屏幕都是子弹，爽啊，哈哈，而且这首曲子也很嗨。

当然与音乐相关的游戏还不止这款。。。

相关游戏：

• 劲舞团（韩国T3 娱乐公司开发，游戏开发技术没有与音乐有关，这游戏只是编辑定时弹出什么QTE的按键序列而已）
• 劲乐团（韩国O2Media游戏公司开发，游戏开发技术应该是用到了声乐文件的音频spectrum图谱的分析，先自动生成一个节奏点相关的QTE数据，然后再人工审核一下生产的内容，可减少开发成本，因为如果全程人工编辑，那个编辑人力成本太高了）
• 节奏大师（同上，腾讯光速工作室开发）
• QQ音速（同上，腾讯代理，韩国seed9开发）
• 某些游戏也会根据我们的音波来加速移动，发射子弹等。这些就不一一介绍了，玩过想过的太多了。

等等，还有现在新出的各式各样的游戏。基本都会使用到先音频分析自动生成数据，再人工调整。（当然，我只是猜测，肯定有团队是全人工编辑的）

为了找灵感，再尝试试API来制作一些功能，再未来开发，也许有帮助。

OK，扯题的话就不说了。

运行总体效果如下图：（没有声音）

录制

Microphone类使用到的几个API

• public static string[] devices { get; }
  获取可用的麦克风的设备名称数组
• public static AudioClip Start(string deviceName, bool loop, int lengthSec, int frequency);
  使用指定deviceName设备开始录制
• public static void End(string deviceName);
  指定deviceName设备结束录制
• public static int GetPosition(string deviceName);
  获取麦克风当前对应设备写入录制缓存的索引位置
• public static bool IsRecording(string deviceName);
  获取指定deviceName设备名称是否当前录制中

OK，就这么几个是主要的。

录制步骤

• 先检测有没设备Microphone.devices.Length > 0
• 开始录制调用Microphone.Start，要传入使用的设备名，是否环形循环录制缓存，录制缓存支持的时长，录制的采样率
  • 设备名就Microphone.devices里头其一
  • 是否环形循环录制缓存意思就是是否录制数据写到尾部是，是从将写入指标重置会开头（0索引）
  • 录制缓存支持的时长，就是如果不是环形循环录制的话，那么录制时间到了，就不会再录制
  • 录制采样率，这个决定了录制出来声音的质量，采样率越高当然就越接近原声
    • 但采样率不能乱设置，下面会相关的知识点讲到采样率是什么东东
• 等待录制时间到达，就自动取消录制（或时手动的在时间到达之前结束录制）
• 播放刚刚录制的AudioClip，已测试是否有效。
  • 如果听不到声音，请检查：
    • 播放该AudioClip的AudioSource的Volume（音量）；
    • 如果AudioSource的Spatial Blend是2D的，那就确定场景中至少有一个AudioListener组件时启用的。
    • 如果AudioSource的Spatial Blend是3D的，那就确定启用的AudioListener与你播放的AudioSource的距离保持在AudioSource的MinDistance与MaxDistance之前。
    • 在调用Microphone.Start中的frequency确定是在能听到的范围，一般设置在：1000~44100之间就可以了（小于100的几乎都听不到，之前不小心设置错了Slider.Value的值为1，传了个1过去，导致录制出来的AudioClip没有任何声音）
    • 还是听不到，那就确保你的音响设备的音量，与设备是否正常。

相关的知识点

• 声频：指的是声波介质，每秒震动的次数，单位交：赫兹，英文：Hz，人类能听到的声频大概是：20Hz~20000Hz。低于20Hz我们叫超低音声波，高于20000Hz我们叫超高音波（超音波）。而不同物种，他们声频生物传感器是不一样的，如：蝙蝠，相对人类来说的部分超低高音都可以听到，但它能听到的范围也是有限的。
• 声波：而声波是介质震动（一般指的是空气）时的振动波，现实生活中我们听到的声音都是一些连续不间断的声波，声波进入了我们的耳朵（接受声波处理的生物传感器），就听到声音了
• 采样率：因为声波是连续不间断的，但我们记录的是离散的数字信号，采样率就是每秒记录的次数。如：44100次/每秒，就是我们常见的44KHz。但是采样率越高记录所需要的数据量就越大。相反，越低的采样率，数据量就很少了，但是音质会很差，甚至低到一定程度，我们都几乎听不到。我们平时看到保安人员的对讲机，大概就是1KHz，我们一些高音质的MP3等音频文件有16KHz，32KHz，44KHz，都有，有些电影院的那些可能上MHz都是有的。
• 比特率：和采样率差不多的意思，只是他主要表达的是每秒需要记录用到的bit位有多少，考量维度不一样，前者是记录次数，后者是使用bit的量，就可以很准确的确定数据占用量。

音波图（不是声谱Spectrum）

至于声谱图，我没去研究过，这里不涉及。

AudioClip类API

• public bool GetData(float[] data, int offsetSamples);
  从AudioClip中，指定offsetSamples的位置开始读取音波数据存入我们预先创建的float[] data缓存中。

AudioClip是我们的音频对象。

• Microphone.Start返回的是AudioClip。
• Project视图管理资源中，音频文件也是AudioClip。

而我们就是通过这个AudioClip.GetData来取对应缓存位置记录的音波数据的，然后根据这些数据我们将它用于控制一些粒子特效，或是线条，几何体，颜色变化，等来表现我们的音波图的。

下图就是根据此API制作的简单的音波图。（我放了很多个：RawImage，然后用AudioClip.GetData取出来的数据分别控制他们的宽度，及颜色即可，这首史诗级曲子：EI Dorado也是我非常喜欢的，有兴趣可以听听）

扩展

• 播放器，KTV，KTV评分系统：有些前面哪些功能，起始如果上对各音频文件的编解码处理，你甚至可以制作一些播放器了（在搞一些文件读写就好了），录制的话，你要可以搞个人KTV录制。还可以分析音波与原唱的音波图相似度来评KTV录制结果分数。

• 无时间限制录制文件功能：还有一个，起始还可以写一个无时间长度限制的录音软件。
  但是还需要对代码调整（就是判断Microphone.GetPosition差不多到缓存尾部的时候，马上再调用Microphone.Start记录重新录制就好了，再将之前录制的那个AudioClip的数据写入文件流啊，就可以了）

• 简单语音录制的聊天系统：游戏，或是应用中的简单语音录制的聊天系统，前面讲了怎么怎么录制，怎么怎么从AudioClip拿数据，还有，下面的Code中，也有显示AudioClip.SetData怎么怎么使用，那么就可以将GetData的float[]转到byte[]，在通过Socket的网络传输到服务器，服务器再广播，其他接受的客户端先将byte[]转float[]，再就AudioClip.SetData，再AudioSource.Clip = 你的Clip，再AudioSource.Play，完事。

Code

using System;
using System.Collections.Generic;
using Unity.Collections;
using UnityEngine;
using UnityEngine.UI;
/// 

/// author      :   jave.lin
/// date        :   2020.02.18
/// 测试录制麦克风的各种功能
/// 
public class RecordMicrophoneSoundScript : MonoBehaviour
{
    public enum RecordStatusType
    {
        Unstart,
        Recording,
        End,
    }
    public enum RecordErrorType
    {
        None,
        NotFoundDevice,
        RecordingError,
    }
    [Space(10)]
    public Text playSoundWaveText;
    public AudioClip music;
    [Space(10)]
    public Text startOrEndRecordBtnText;
    public Text statusText;
    public Text detailStatusText;
    public Text deviceCaptureFreqText;
    [Space(10)]
    public Dropdown deviceDropdownList;
    public Dropdown frequencyDropdownList;
    public Slider recordTimeSlider;
    public Text recordTimeText;
    public Text playProgressText;
    public Text recordTimeProgressText;
    public Slider playProgressSlider;
    public Slider recordTimeProgressSlider;
    public Text detailRecordClipText;
    [Space(10)]
    public Color32 lineLowCol = new Color32(1, 1, 0, 1);
    public Color32 lineHightCol = new Color32(1, 0, 0, 1);
    public int lineW;
    public RawImage[] lines;
    [Space(10)]
    [SerializeField] [ReadOnly] private RecordStatusType recordStatus;
    [SerializeField] [ReadOnly] private RecordErrorType errorStatus;
    [SerializeField] [ReadOnly] private AudioClip recordedClip;
    private AudioSource audioSource;            // 播放的source
    private bool startRecord;
    private int posWhenEnd;
    private float[] bufferHelper;
    [SerializeField] private float[] soundWaveBuffer;
    [SerializeField] private float[] soundWaveBuffer2;
    private void Awake()
    {
        audioSource = GetComponent<AudioSource>();
        soundWaveBuffer = new float[lines.Length];
        soundWaveBuffer2 = new float[lines.Length];
    }
    private void Start()
    {
        deviceDropdownList.ClearOptions();
        deviceDropdownList.AddOptions(new List<string>(Microphone.devices));
        deviceDropdownList.value = 0;
        deviceDropdownList.RefreshShownValue();

        for (int i = 0; i < lines.Length; i++) SetLine(i, 2, 1);
    }
    private void Update()
    {
        UpdateAllStatus();
    }
    private void SetLine(int idx, float multiplier = 2.0f, float t = 0.1f)
    {
        var line = lines[idx];
        var v = line.rectTransform.sizeDelta;
        var data = soundWaveBuffer[idx];
        v.x = Mathf.Lerp(v.x, lineW * data * multiplier, t);
        line.rectTransform.sizeDelta = v;
        line.color = Color.Lerp(lineLowCol, lineHightCol, Mathf.Abs(data));
        
    }
    // 更新音波数据，这里我就不叫spectrum
    private void UpdateSoundWaveData(AudioClip clip, int pos)
    {
        if (clip != null)
        {
            var offsetPos = pos - lines.Length;
            if (offsetPos > 0) clip.GetData(soundWaveBuffer, offsetPos);    // 如果clip当前录制位置，截取够lines.length的数量
            else
            {
                // 如果不够
                // 先截取尾部的作为起始数据
                clip.GetData(soundWaveBuffer, clip.samples + offsetPos);
                var delta = lines.Length + offsetPos;
                if (delta > 0)
                {
                    // 再截取补长的数据，再clip前面部分
                    // 因为录制时，我们开启了环形缓存
                    // public static AudioClip Start(string deviceName, bool loop, int lengthSec, int frequency)中的第二个参数决定，我们写死true
                    clip.GetData(soundWaveBuffer2, 0);
                    Array.Copy(soundWaveBuffer2, 0, soundWaveBuffer, -offsetPos, delta);
                }
            }

            playSoundWaveText.text = $"PlaySoundWave : {clip.name}";
        }
    }
    // 更新音波的可视线
    private void UpdateSoundLines()
    {
        for (int i = 0; i < lines.Length; i++) SetLine(i);
    }
    // 更新一些状态
    private void UpdateAllStatus()
    {
        if (Microphone.devices.Length == 0)
        {
            errorStatus = RecordErrorType.NotFoundDevice;
            return;
        }
        else
        {
            var deviceName = deviceDropdownList.captionText.text;

            Microphone.GetDeviceCaps(deviceName, out int minFreq, out int maxFreq);
            deviceCaptureFreqText.text = $"Device Capture MinFreq:{minFreq} MaxFreq:{maxFreq}";

            var isRecording = Microphone.IsRecording(deviceName);
            if (isRecording)
            {
                recordStatus = RecordStatusType.Recording;
                // 使用GetPosition获取写入缓存的位置与缓存大小的比例值，再乘以录制秒数，就可以得到准确的录制时长
                var pos = Microphone.GetPosition(deviceName);
                var recordProgress = recordedClip.length * ((float)pos / recordedClip.samples);
                recordTimeProgressText.text = $"{recordProgress.ToString("00.0")}";
                recordTimeProgressSlider.value = recordProgress;
                // update sound wave ( not a spectrum )
                UpdateSoundWaveData(recordedClip, pos); // 更新录制的音波数据
                UpdateSoundLines();                     // 更新音波的可视线
            }
            else
            {
                if (recordedClip == null)
                {
                    recordStatus = RecordStatusType.Unstart;
                }
                else
                {
                    recordStatus = RecordStatusType.End;
                }
            }
            startOrEndRecordBtnText.text = startRecord ? "EndRecord" : "StartRecord";

            var recordPostion = Microphone.GetPosition(deviceName);
            // Debug.Log($"deviceName:{deviceName} isRecording:{isRecording} recordPosition:{recordPostion}");
            detailStatusText.text = $"deviceName:{deviceName} isRecording:{isRecording} recordPosition:{recordPostion}";

            statusText.text = $"Status : {recordStatus}, Error:{errorStatus}";

            if (recordedClip != null)
            {
                detailRecordClipText.text = $"RecordClipInfo:len:{recordedClip.length},freq:{recordedClip.frequency},channels:{recordedClip.channels},samples:{recordedClip.samples},ambisonic:{recordedClip.ambisonic},loadType:{recordedClip.loadType},preloadAudioData:{recordedClip.preloadAudioData},loadInBg:{recordedClip.loadInBackground},loadState:{recordedClip.loadState}";

                
            }
            if (audioSource.clip != null)
            {
                //Debug.Log($"audioSource.timeSamples:{audioSource.timeSamples}");
                playProgressSlider.minValue = 0;
                playProgressSlider.maxValue = audioSource.clip.length;
                playProgressSlider.value = audioSource.time;
                playProgressText.text = $"{audioSource.time.ToString("00.0")}";

                var percent = audioSource.time / audioSource.clip.length;

                UpdateSoundWaveData(audioSource.clip, (int)(percent * audioSource.clip.samples));   // 更新播放的音波数据
                UpdateSoundLines();             // 更新音波的可视线

            }
            else
            {
                playProgressSlider.value = playProgressSlider.minValue;
            }
        }
    }
    // 给DropDown控制绑定的On Value Change 的事件方法
    public void OnDeviceItemSelectionChanged(int idx)
    {
        var selection = deviceDropdownList.options.Count > 0 ? deviceDropdownList.options[idx].text : "EMPTY";
        Debug.Log($"Devices DropDownList Item Selection Changed, idx : {idx}, selection : {selection}");
    }
    public void OnStartOrEndRecordBtnClick()
    {
        if (Microphone.devices.Length == 0)
        {
            errorStatus = RecordErrorType.NotFoundDevice;
            return;
        }
        var deviceName = deviceDropdownList.captionText.text;
        var isRecording = Microphone.IsRecording(deviceName);
        if (isRecording)    // 录制中
        {
            posWhenEnd = Microphone.GetPosition(deviceName);
            // 那么就取消录制 - cancel recording
            Microphone.End(deviceName);
            recordStatus = RecordStatusType.End;
            startRecord = false;
        }
        else                // 没在录制
        {
            if (recordedClip != null) Destroy(recordedClip);
            // 人耳可以听到的声频为：20Hz~20000Hz左右
            // 音频采样频率（即：离散的采样点组合的模拟声波震动频率（每秒多少次，单位名：赫兹：Hz））
            // 经自己的测试发现：
            // 8820‬ = 44100 / 5：和微信的录制频率差不多（甚至微信的更低，数据小啊）
            // 11025 = 44100 / 4 ~ 44100：都差不多，不认真听都差不多
            // 22050 = 44100 / 2
            // 44100
            // 88200 = 44100 * 2
            // 频率越高，音质越高，但占用数据越大
            var frequency = Convert.ToInt32(frequencyDropdownList.captionText.text);
            recordedClip = Microphone.Start(deviceName, true, (int)recordTimeSlider.value, frequency);
            startRecord = true;
            recordTimeProgressSlider.minValue = 0;
            recordTimeProgressSlider.maxValue = (int)recordTimeSlider.value;
            recordTimeProgressSlider.value = 0;
            if (recordedClip == null) errorStatus = RecordErrorType.RecordingError;
        }
    }
    public void OnPlayClipBtnClick()
    {
        if (recordedClip != null)
        {
            var playingClip = AudioClip.Create("MicrophoneRecord", posWhenEnd, recordedClip.channels, recordedClip.frequency, recordedClip.loadType == AudioClipLoadType.Streaming);
            if (bufferHelper == null || bufferHelper.Length < posWhenEnd) bufferHelper = new float[posWhenEnd];
            recordedClip.GetData(bufferHelper, 0);
            playingClip.SetData(bufferHelper, 0);
            // 通过上面对playingClip的重新构建，playingClip.length是最精准的了就不是我们固定的长度了
            audioSource.clip = playingClip;
            audioSource.Play();
        }
    }
    public void OnPauseBtnClick()
    {
        audioSource.Pause();
    }
    public void OnStopPlayClipBtnClick()
    {
        audioSource.Stop();
    }
    public void OnRecorddTimeSliderValueChanged(float value)
    {
        // recordTimeText.text = $"{value}s"; // 这里value一直未0有BUG
        recordTimeText.text = $"{recordTimeSlider.value}s";
    }
    public void OnPlayMusicBtnClick()
    {
        audioSource.clip = music;
        audioSource.Play();
    }
}

Project

RecordingMicrophoneSoundTesting_2019_3_1f1

Unity使用：2019.3.1f1，为何要讲这个，因为我讲2019.3.1f1降版本到2018.3.0f2的unity后，Scene里记录的Hierachy的对象绑定的各种Component的数据都丢失了。

本想用2019来制作测试，拿回2018发布到手机测试的，结果。。。。。。咳咳。。。（因为2019发布版本目前会卡Building Gradle Project的问题，官方网络限制中国区域的问题，需要，梯子，你才能正常发布，而现在VPN限制这么严，所以就没去用2019发布，暂时没那这个录制功能到手机端上测试）