基于kaldi的iOS实时语音识别(本地)+03+音频采集传输

iOS在线识别：https://www.jianshu.com/u/3c2a0bd52ebc

kaldi静态库集成到项目中没问题后，现在就需要采集音频发送给解码器去解码。

我这里对音频的传输采用的是GStreamer的库，我们也可以采用自己的方式去传输音频，GStreamer的好处就是能将音频进行缓存，每次都能有序的从GstBufferSource中去读取数据进行解码，我们能控制好这个传输的管道，自己实现完全没问题。

采集

iOS采集音频的方式有很多种，我这里简单贴出我采集的方式：

- (void)startCapture {
    self.capture = [AVCaptureSession new];

    AVCaptureDevice *audioDev = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];

    AVCaptureDeviceInput *audioIn = [[AVCaptureDeviceInput alloc] initWithDevice:audioDev error:nil];

    if (![self.capture canAddInput:audioIn]) {
        NSLog(@"不能添加 input device");
        return;
    }

    [self.capture addInput:audioIn];

    AVCaptureAudioDataOutput *audioOut = [AVCaptureAudioDataOutput new];

    [audioOut setSampleBufferDelegate:self queue:dispatch_get_main_queue()];

    if (![self.capture canAddOutput:audioOut]) {
        NSLog(@"不能添加 audio output");
        return;
    }

    [self.capture addOutput:audioOut];
    [audioOut connectionWithMediaType:AVMediaTypeAudio];
    [self.capture startRunning];
}

传输

因为传输我是用的GStreamer，所以这里需要我们对GStreamer有个了解，不然不知道怎么去跟解码器串联起来，出了问题也不知道怎么查。

通俗的说，GStreamer在这里起到了一个管道的作用，连通采集跟解码器，管道内部有很多的元件，都是对音频的处理，这个我们不用去关心它是怎么去处理的，我们只需要知道这个管道里面都要需要哪些元件，怎么把他们串起来就可以了。

我这里用的元件有：

• appsrc：这个是必须的元件，主要是将数据插入管道中
• decodebin：这个是一个通过decoders和demuxers自动解码的元件
• audioresample：使用可配置的窗口方法将原始音频缓冲区重新采样到不同的采样率，以提高质量
• audioconvert：转换原始音频缓冲区之间的各种可能的格式，它支持integer到float转换，width/depth转换，signedness和endianness转换和channel转换（例如：upmixing和downmixing)，以及抖动(dithering)和噪声(noise-shaping)。
• tee：将数据分割到多个pad。对数据流1路分成多路的分路器
• fakesink：一个数据只进不出的sink，吞噬掉其他的流，让音频流向前推进
• queue：数据排队，直到达到“max-size-buffer”、“max-size-bytes”和/或“max-size-time”属性指定的限制之一。任何将更多缓冲区推入队列的尝试都会阻塞推线程，直到有更多空间可用为止。
• 自定义的解码插件：这个是将识别解码器生成一个GStreamer插件，加入管道中

我们了解了这些元件，通过下面方法创建元件：

gst_element_factory_make(const gchar *factoryname, const gchar *name)

我们获得了这些元件，接下来我们就需要将这些元件加入到管道（pipeline）中：

gst_bin_add_many(GstBin *bin, GstElement *element_1, ...)

接下来是将每个元件关联起来：

gst_element_link(GstElement *src, GstElement *dest)

以上我们就做好了这个传输数据的管道，有些事件的监听和状态的设置也需要在这里做，因为都是一些标准的设置，我这里就不赘述了。

推送数据

采集到数据后，我们可以通过如下方式推送数据：

g_signal_emit_by_name( G_OBJECT(self->appsrc), "push-buffer", buffer, &ret );

这样数据通过管道就会到达识别解码器，当然解码器也要做好接收的准备，这个后面讲自定义解码器插件的时候会说。

至此，我们就完成了音频的传输。