使用ffmpeg或者java录制音频总结

使用ffmpeg或者java录制音频总结

系统环境

Ubuntu，MacOS

几种方式

• 使用FFMPEG
• 使用JDK
• 使用JavaCV

下面详细介绍几种方式，再不同操作系统下的用法

FFMPEG

前提已经安装了ffmpeg
参见官方文档，或者自行“必应”，使用说明网上很多，不多介绍，只介绍录制音频的用法

• 工具准备
  用于查看系统中，可用的录音设备信息

  • Ubuntu
    需要安装alsa-utils工具包, linux下需要使用alsa工具进行音频录制

  apt-get install alsa-utils
  

  • MacOS上不需要安装工具，直接使用ffmpeg查看设备

• 使用方法

  • Ubuntu
  1. 列出所有音频设备

    root@guest-TianYi510Pro-18ICB:~# arecord -l
    **** CAPTURE 硬體裝置清單 ****
    xcb_connection_has_error() 返回真
    card 0: PCH [HDA Intel PCH], device 0: ALC233 Analog [ALC233 Analog]
      子设备: 1/1
      子设备 #0: subdevice #0
    card 0: PCH [HDA Intel PCH], device 1: ALC233 Analog
      子设备: 1/1
      子设备 #0: subdevice #0      
    card 2: Device [USB Audio Device], device 0: USB Audio [USB Audio]
      子设备: 1/1
      子设备 #0: subdevice #0
  

  2. 列出设备后，使用card 2进行录音，命令如下：

  ffmpeg -f alsa -i hw:2 -y test.wav
  

  如果想使用card 0 device 1，命令如下：

  ffmpeg -f alsa -i hw:0,1 -y test.wav
  

  • MacOS
    Mac下命令与Linux下不同
  1. 列出所有音频设备

  Mac-mini:myan$ ffmpeg -f avfoundation -list_devices true -i ""
  ......
  [AVFoundation input device @ 0x7fbabf106bc0] AVFoundation video devices:
  [AVFoundation input device @ 0x7fbabf106bc0] AVFoundation audio devices:
  [AVFoundation input device @ 0x7fbabf106bc0] [0] (LCS) USB Audio Device
  ......
  

  2. 列出设备后，使用video_device_index为[0]的设备录音，命令如下：

  ffmpeg -f avfoundation -i :0 -y test.mp3
  

  注意：在mac mini上测试时，远程通过ssh登陆到此机器执行录音命令会报错，得到Abort trap: 6错误，在本机执行没问题

具体内容可以参考官方文档
https://trac.ffmpeg.org/wiki/Capture/ALSA
https://trac.ffmpeg.org/wiki/Capture/Webcam

使用JDK

• 步骤如下：

  • 初始化TargetDataLine
  • 从DataLine中读取数据

• 实现方法：

此方法循环录制音频文件，仅仅使用于测试功能

    @Test
    public void testAduio() throws LineUnavailableException, IOException {
        TargetDataLine line;
        //定义声音格式，具体需要根据录音设备支持程度来定义
        //我使用的设备
        AudioFormat audioFormat = new AudioFormat(16000, 16, 1, true, false); 
        DataLine.Info info = new DataLine.Info(TargetDataLine.class, audioFormat);
        line = (TargetDataLine) AudioSystem.getLine(info);
        line.open(audioFormat);
        line.start(); //开始录音

        File wavFile = new File("./testAudio.wav"); //要录制的文件

        AudioInputStream ais = new AudioInputStream(line);
        System.out.println("Start recording...");
        while (true) {
            // start recording
            AudioSystem.write(ais, AudioFileFormat.Type.WAVE, wavFile); //指定录制的音频格式
        }
    }

具体内容可以参考官方文档 https://docs.oracle.com/javase/tutorial/sound/capturing.html

注意：此方式只支持JDK中的几种音频格式，但是缺点是录制的文件比较大，1分钟接近10M，而我需要的MP3格式是不支持的

使用JavaCV

此开发包，封装了ffmpeg实现，所以ffmpeg能够录制的格式，它都支持。现在最新版本为1.4.4封装了ffmpeg-4.1。实际项目中也是使用它来开发的。
源码可以在github上得到(javacv)[https://github.com/bytedeco]

• 实现方法:

此方法循环录制音频文件，仅仅使用于测试功能

代码源自：https://github.com/bytedeco/javacv/blob/master/samples/WebcamAndMicrophoneCapture.java

    @Test
    public void testAduioByJavaCV() throws FrameRecorder.Exception {
        FFmpegFrameRecorder recorder = new FFmpegFrameRecorder("./testAudio.mp3", 1);
        recorder.setAudioOption("crf", "0");
        // Highest quality
        recorder.setAudioQuality(0);
        // 16 Kbps
        recorder.setAudioBitrate(16000);
        // 44.1MHZ
        recorder.setSampleRate(44100);
        // 1 channel
        recorder.setAudioChannels(1);
        // mp3
        recorder.setAudioCodec(avcodec.AV_CODEC_ID_MP3);
        recorder.start();
        
        AudioFormat audioFormat = new AudioFormat(44100.0F, 16, 1, true, false);

        // 得到所有Mixer信息，通俗的说就是声音设备信息
        Mixer.Info[] minfoSet = AudioSystem.getMixerInfo();
        Mixer mixer = AudioSystem.getMixer(minfoSet[3]);
        DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);

        try {
            //初始化TargeLine，与使用JDK一样
            
            // TargetDataLine line = (TargetDataLine)mixer.getLine(dataLineInfo); //可以使用声音设备索引来录制音频
            TargetDataLine line = (TargetDataLine) AudioSystem.getLine(dataLineInfo);//这个就是查找默认可用的录音设备，没有特殊指定
            line.open(audioFormat);
            line.start();

            int sampleRate = (int) audioFormat.getSampleRate();
            int numChannels = audioFormat.getChannels();

            // Let's initialize our audio buffer...
            int audioBufferSize = sampleRate * numChannels;
            byte[] audioBytes = new byte[audioBufferSize];

            // Using a ScheduledThreadPoolExecutor vs a while loop with
            // a Thread.sleep will allow
            // us to get around some OS specific timing issues, and keep
            // to a more precise
            // clock as the fixed rate accounts for garbage collection
            // time, etc
            // a similar approach could be used for the webcam capture
            // as well, if you wish
            ScheduledThreadPoolExecutor exec = new ScheduledThreadPoolExecutor(1);
            exec.scheduleAtFixedRate(new Runnable() {
                @Override
                public void run() {
                    try {
                        // Read from the line... non-blocking
                        int nBytesRead = 0;
                        while (nBytesRead == 0) {
                            nBytesRead = line.read(audioBytes, 0, line.available());
                        }

                        // Since we specified 16 bits in the AudioFormat,
                        // we need to convert our read byte[] to short[]
                        // (see source from FFmpegFrameRecorder.recordSamples for AV_SAMPLE_FMT_S16)
                        // Let's initialize our short[] array
                        int nSamplesRead = nBytesRead / 2;
                        short[] samples = new short[nSamplesRead];

                        // Let's wrap our short[] into a ShortBuffer and
                        // pass it to recordSamples
                        ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);
                        ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);

                        // recorder is instance of
                        // org.bytedeco.javacv.FFmpegFrameRecorder
                        recorder.recordSamples(sampleRate, numChannels, sBuff);
                        logger.info("recorder samples size: {}", nSamplesRead);
                    } catch (org.bytedeco.javacv.FrameRecorder.Exception e) {
                        e.printStackTrace();
                    }
                }
            }, 0, (long) 1000 / FRAME_RATE, TimeUnit.MILLISECONDS);
        } catch (LineUnavailableException e1) {
            e1.printStackTrace();
        }
        
        //仅用于测试，有点低级，仅测试功能，实际项目中需要通过标志来控制线程
        for (;;){}
    }