【MAX7800实现KWS20 demo演示】

【MAX7800实现KWS20 demo演示】

  • 1. 概述
  • 2. 关键字定位演示
    • 2.1 构建固件:
    • 2.2 选择板卡
    • 2.3 MAX78000 EVKIT
      • 2.3.1 MAX78000 EVKIT下载程序
      • 2.3.2 MAX78000 EVKIT 跳线设置
      • 2.3.3 MAX78000 EVKIT 操作
    • 2.4 MAX78000 Feather
      • 2.4.1 MAX78000 Feather羽毛板下载固件
      • 2.4.2 MAX78000羽毛板操作
    • 2.5 使用调试终端
  • 3. CNN模型
    • 3.1 网络训练
    • 3.2 网络量化
    • 3.3 网络综合
    • 3.4 KWS20 演示代码
      • 3.4.1 麦克风模式
      • 3.4.2 离线模式
      • 3.4.3 KWS20 演示固件结构
  • 4. MAX7800 羽毛板Eclipse配置
  • 5.小结

在这里插入图片描述

1. 概述

Keyword Spotting Demo 软件演示了如何使用MAX78000 EVKIT 识别大量关键字。
KWS20 演示软件使用第二版 Google 语音命令数据集,其中包含 35 个关键字和超过 100K 的话语:

https://storage.cloud.google.com/download.tensorflow.org/data/speech_commands_v0.02.tar.gz

此演示使用了完整数据集中的以下 20 个关键字子集:

[‘up’, ‘down’, ‘left’, ‘right’, ‘stop’, ‘go’, ‘yes’, ‘no’, ‘on’, ‘off’, ‘one’, ‘two’, ‘three’, ‘four’, ‘five’, ‘six’, ‘seven’, ‘eight’, ‘nine’, ‘zero’]
其余关键字和无法识别的词属于“Unknown”类别。

2. 关键字定位演示

2.1 构建固件:

导航到 KWS20 演示软件所在的目录并构建项目:

$ cd /Examples/MAX78000/CNN/kws20_demo
$ make

如果是第一次安装工具后,或者更新了外设文件,请先清理驱动再重建工程:

$ make distclean

2.2 选择板卡

  1. 要为 MAX78000 EVKIT 编译代码,请在 project.mk 中启用BOARD=EvKit_V1:
# Specify the board used
ifeq "$(BOARD)" ""
BOARD=EvKit_V1
#BOARD=FTHR_RevA
endif
  1. 要为 MAX78000 Feather 板编译代码,请在 project.mk 中启用BOARD=FTHR_RevA:
# Specify the board used
ifeq "$(BOARD)" ""
#BOARD=EvKit_V1
BOARD=FTHR_RevA
endif

注意:如果您使用的是 Eclipse,还请确保通过以下方式将 Board 环境变量的值更改为“FTHR_RevA”:

右键单击项目名称 > 属性 > C/C++ 构建 > 环境 > Board"
【MAX7800实现KWS20 demo演示】_第1张图片

2.3 MAX78000 EVKIT

2.3.1 MAX78000 EVKIT下载程序

将 USB 电缆连接到 CN1 (USB/PWR) 并打开电源开关 (SW1)。
将 PICO 适配器连接到 JH5 SWD 接头。
如果您使用的是 Windows,请在 MinGW shell 中使用 OpenOCD 加载固件映像:

openocd -s $MAXIM_PATH/Tools/OpenOCD/scripts -f interface/cmsis-dap.cfg -f target/max78000.cfg -c "program build/MAX78000.elf reset exit"

如果使用 Linux,请执行此步骤:

./openocd -f tcl/interface/cmsis-dap.cfg -f tcl/target/max78000.cfg -c "program build/MAX78000.elf verify reset exit"

确保在加载固件后移除 PICO 适配器。

2.3.2 MAX78000 EVKIT 跳线设置

确保在 JP20-CLK(INT 位置)安装跳线,如下所示:

注:板载外部振荡器 Y3 用于生成 I2S 时钟。I2S 采样率为 16kHz,以匹配数据集的语音样本。

2.3.3 MAX78000 EVKIT 操作

重新上电后,如果 TFT 显示屏为空白,或如下图显示不正确,请按 RESET (SW5)。

TFT 显示屏显示它已准备就绪。按 PB1 开始:

一旦红色 LED2 亮起,初始化就完成了,可以接受关键字了。如果 PICO 适配器仍连接到 SWD,请将其断开并重启。

可以检测到以下单词:

['up', 'down', 'left', 'right', 'stop', 'go', 'yes', 'no', 'on', 'off', 'one', 'two', 'three', 'four', 'five', 'six', 'seven', 'eight', 'nine', 'zero']

MAX78000 KWS20 演示固件可识别关键字并报告结果和置信度。
麦克风 (U15) 位于 EVKIT 上的 JH4 和 JH5 接头之间,(MK1) 位于 MAX78000 Feather 板上的 J5 和 J7 音频连接器之间。

2.4 MAX78000 Feather

2.4.1 MAX78000 Feather羽毛板下载固件

将 USB 电缆连接到 CN1 USB 连接器。
如果您使用的是 Windows,请在 MinGW shell 中使用 OpenOCD 加载固件映像:

openocd -s $MAXIM_PATH/Tools/OpenOCD/scripts -f interface/cmsis-dap.cfg -f target/max78000.cfg -c "program build/MAX78000.elf reset exit"

如果使用 Linux,请执行此步骤:

./openocd -f tcl/interface/cmsis-dap.cfg -f tcl/target/max78000.cfg -c "program build/MAX78000.elf verify reset exit"

2.4.2 MAX78000羽毛板操作

KWS20 演示在通电或按下复位按钮 (SW4) 后自动启动。TFT 显示器是可选的,不随 MAX78000 Feather 板提供。用户应使用 PC 终端程序观察 KWS20 演示结果,如“使用调试终端”部分所述。

可在此处订购兼容 MAX78000 Feather 的 2.4’’ TFT FeatherWing 显示器:

https://learn.adafruit.com/adafruit-2-4-tft-touch-screen-featherwing

这款 TFT 显示器完全组装有双插座,供 MAX78000 Feather 插入。

要使用启用的 TFT 功能编译代码,请使用 project.mk 中的以下设置:

ifeq "$(BOARD)" "FTHR_RevA"
PROJ_CFLAGS += -DENABLE_TFT
endif

使用 TFT 显示器时,请将其电源开关保持在“ON”位置。TFT“重置”按钮也可用作羽化重置。按 PB1 (SW1) 按钮开始演示。

PB1(SW1)按钮的位置如下图所示:

【MAX7800实现KWS20 demo演示】_第2张图片

2.5 使用调试终端

调试终端显示有关状态和检测到的单词的更多信息。
连接到 CN1 (USB/PWR) 的 USB 电缆提供电源和串行通信。
要配置 PC 终端程序,请选择正确的 COM 端口和设置,如下所示:

【MAX7800实现KWS20 demo演示】_第3张图片

打开电源或按下重置按钮后,终端窗口中将出现以下消息:

【MAX7800实现KWS20 demo演示】_第4张图片

检测词后终端显示:

【MAX7800实现KWS20 demo演示】_第5张图片

KWS20 demo的软件组成如下图所示:

【MAX7800实现KWS20 demo演示】_第6张图片

3. CNN模型

KWS20 v.3 卷积神经网络 (CNN) 模型由具有 8 层的1D CNN 和一个完全连接的层组成,用于从用于训练的 20 个单词词典中识别关键字。

class AI85KWS20Netv3(nn.Module):
    """
    Compound KWS20 v3 Audio net, all with Conv1Ds
    """

    # num_classes = n keywords + 1 unknown
    def __init__(
            self,
            num_classes=21,
            num_channels=128,
            dimensions=(128, 1),  # pylint: disable=unused-argument
            bias=False,
            **kwargs

    ):
        super().__init__()
        self.drop = nn.Dropout(p=0.2)
        # Time: 128 Feature :128
        self.voice_conv1 = ai8x.FusedConv1dReLU(num_channels, 100, 1, 
                                                stride=1, padding=0,
                                                bias=bias, **kwargs)
        # T: 128 F: 100
        self.voice_conv2 = ai8x.FusedConv1dReLU(100, 96, 3, 
                                                stride=1, padding=0,
                                                bias=bias, **kwargs)
        # T: 126 F : 96
        self.voice_conv3 = ai8x.FusedMaxPoolConv1dReLU(96, 64, 3, 
                                                       stride=1, padding=1,
                                                       bias=bias, **kwargs)
        # T: 62 F : 64
        self.voice_conv4 = ai8x.FusedConv1dReLU(64, 48, 3, 
                                                stride=1, padding=0,
                                                bias=bias, **kwargs)
        # T : 60 F : 48
        self.kws_conv1 = ai8x.FusedMaxPoolConv1dReLU(48, 64, 3, 
                                                     stride=1, padding=1,
                                                     bias=bias, **kwargs)
        # T: 30 F : 64
        self.kws_conv2 = ai8x.FusedConv1dReLU(64, 96, 3, 
                                              stride=1, padding=0,
                                              bias=bias, **kwargs)
        # T: 28 F : 96
        self.kws_conv3 = ai8x.FusedAvgPoolConv1dReLU(96, 100, 3, 
                                                     stride=1, padding=1,
                                                     bias=bias, **kwargs)
        # T : 14 F: 100
        self.kws_conv4 = ai8x.FusedMaxPoolConv1dReLU(100, 64, 6, 
                                                     stride=1, padding=1,
                                                     bias=bias, **kwargs)
        # T : 2 F: 128
        self.fc = ai8x.Linear(256, num_classes, bias=bias, wide=True, **kwargs)

    def forward(self, x):  # pylint: disable=arguments-differ
        """Forward prop"""
        # Run CNN
        x = self.voice_conv1(x)
        x = self.voice_conv2(x)
        x = self.drop(x)
        x = self.voice_conv3(x)
        x = self.voice_conv4(x)
        x = self.drop(x)
        x = self.kws_conv1(x)
        x = self.kws_conv2(x)
        x = self.drop(x)
        x = self.kws_conv3(x)
        x = self.kws_conv4(x)
        x = x.view(x.size(0), -1)
        x = self.fc(x)

        return x

CNN 输入是 128x128=16384 个 8 位带符号语音样本。

3.1 网络训练

要调用网络训练,请执行脚本:

(ai8x-training) $ ./scripts/train_kws20_v3.sh

如果是第一次,并且本地不存在数据集,scrip会自动下载谷歌语音命令数据集(1秒关键词.wav文件,16KHz采样,16位)到/data/KWS/raw,并处理它使适当的训练、测试和验证数据集集成在 /data/KWS/process/dataset.pt 中。处理步骤通过使用增强技术(如添加白噪声、随机时移和拉伸)来扩展训练数据集,以改善训练结果。此外,每个 16000 个样本单词示例都用零填充,使其成为 128x128=16384 个语音样本。扩充过程将数据集的大小增加了三倍,可能需要 30 分钟才能完成。

AI8X模型训练和量化中描述了网络训练方法的细节

训练未量化网络后,可以通过执行脚本进行评估:

(ai8x-training) $ ./scripts/evaluate_kws20_v3.sh

3.2 网络量化

训练时产生的CNN权重需要量化:

(ai8x-synthesis) $ ./scripts/quantize_kws20_v3.sh

量化的细节在AI8X 模型训练和量化中有描述

3.3 网络综合

网络综合脚本生成通过/失败 C 示例代码,其中包括初始化 MAX78000 CNN 加速器、加载量化 CNN 权重和输入样本以及卸载分类结果的必要函数。具有预期结果的示例输入是此自动生成的代码的一部分以进行验证。以下脚本生成所有示例项目,包括kws20_v3:

(ai8x-synthesis) $ ./gen-demos-max78000.sh

kws20_v3准系统C 代码部分用于 KWS20 演示。特别是,CNN 初始化、权重(内核)和用于加载/卸载权重和样本的辅助函数已从kws20_v3移植到 KWS20 Demo。

3.4 KWS20 演示代码

KWS20 演示有两种模式:使用麦克风(实时)或离线处理:

#define ENABLE_MIC_PROCESSING

3.4.1 麦克风模式

在此模式下,EVKIT I2S Mic 被初始化为以 16KHz 32 位样本运行。在主循环中,检查 I2S 缓冲区并将采样存储到 pChunkBuff缓冲区中。

3.4.2 离线模式

如果未定义 ENABLE_MIC_PROCESSING,则应将包含 16 位样本的头文件(例如kws_five.h)包含在要用作输入的项目中。要从 wav 文件创建头文件,请使用包含的实用程序来记录 wav 文件并将其转换为头文件。

# record 3sec of 16-bit 16KHz sampled wav file 
$ python VoiceRecorder.py -d 3 -o voicefile.wav
# convert to header
$ python RealtimeAudio.py -i voicefile.wav -o voicefile.h

3.4.3 KWS20 演示固件结构

下图为 KWS20 Demo 固件中的处理过程:

【MAX7800实现KWS20 demo演示】_第7张图片

从麦克风/文件中收集的样本是 18/16 位符号的,并被转换为 8 位符号以输入 CNN。如果是麦克风模式,则使用高通滤波器滤除捕获样本中的直流电平。缩放样本以 128 个样本(字节)的块存储在pPreambleCircBuffer循环缓冲区中。

可以调整固件中的以下参数:

#define SAMPLE_SCALE_FACTOR    		4		// multiplies 16-bit samples by this scale factor before converting to 8-bit
#define THRESHOLD_HGIH				350  	// voice detection threshold to find beginning of a keyword
#define THRESHOLD_LOW				100  	// voice detection threshold to find end of a keyword
#define SILENCE_COUNTER_THRESHOLD 	20 		// [>20] number of back to back CHUNK periods with avg < THRESHOLD_LOW to declare the end of a word
#define PREAMBLE_SIZE				30*CHUNK// how many samples before beginning of a keyword to include
#define INFERENCE_THRESHOLD   		49 		// min probability (0-100) to accept an inference

当最后 128 个样本中样本的平均绝对值超过阈值时,标记单词的开头。

当观察到平均绝对阈值低于THRESHOLD_LOW的SILENCE_COUNTER_THRESHOLD背靠背样本块时,会发出单词结束信号。

CNN 需要 1 秒的样本 (128*128) 才能开始处理。此窗口从单词开头前的PREAMBLE_SIZE个样本开始,到 16384
个样本后结束。如果较早确定了一个字的结尾,则 pAI85Buffer 样本缓冲区用零填充。

CNN 相关的 API 函数在cnn.c中。它们用于加载权重和数据,启动CNN,等待CNN完成处理并卸载结果。

如果开发合成新的网络,需要从自动生成的kws20示例工程中移植新的权重文件和相关API函数。此外,如果训练网络中 128x128
样本集的输入层或组织发生变化,则应更改AddTranspose()函数以反映 CNN 内存中新的样本数据排列。

4. MAX7800 羽毛板Eclipse配置

KWS20 例程已经嵌入到example里面,可新建直接调用

注意需要插SD卡,才可以正常运行程序

【MAX7800实现KWS20 demo演示】_第8张图片
选择开发MAXIM项目
【MAX7800实现KWS20 demo演示】_第9张图片

新建kws20例程
【MAX7800实现KWS20 demo演示】_第10张图片

选择相关

【MAX7800实现KWS20 demo演示】_第11张图片

  • 新建成功如下
    【MAX7800实现KWS20 demo演示】_第12张图片

  • 编译成功如下
    【MAX7800实现KWS20 demo演示】_第13张图片

-下载验证
【MAX7800实现KWS20 demo演示】_第14张图片
打印如下:

18:17:42.528 -> 
18:17:42.528 -> 
18:17:42.528 -> ANALOG DEVICES 
18:17:42.531 -> Keyword Spotting Demo
18:17:42.533 -> 
18:17:42.533 -> Ver. 3.1.0 (10/17/22) 
18:17:42.533 -> 
18:17:42.533 -> 
18:17:42.533 -> ***** Init *****
18:17:42.534 -> pChunkBuff: 128
18:17:42.536 -> pPreambleCircBuffer: 3840
18:17:42.538 -> pAI85Buffer: 16384
18:17:42.792 -> SD card mounted.
18:17:42.794 -> Creating directory...
18:17:42.910 -> Directory "001" created.
18:17:42.913 -> Changed directory to "001"
18:17:42.917 -> 
18:17:42.917 -> *** I2S & Mic Init ***
18:17:42.919 -> 
18:17:44.916 -> 
18:17:44.916 -> *** READY ***
18:18:04.413 -> 301952 Word starts from index: 297984, avg:442 > 350 
18:18:05.202 -> 314496: Starts CNN: 1
18:18:05.207 -> 314496: Completes CNN: 1
18:18:05.208 -> CNN Time: 1843 us
18:18:05.209 -> Min: -128,   Max: 127 
18:18:05.212 -> ----------------------------------------- 
18:18:05.216 -> 
18:18:05.216 -> Detected word: TWO (82.0%)
18:18:05.218 -> ----------------------------------------- 
18:18:05.222 -> Creating file "0000_TWO" with length 16384
18:18:05.227 -> File opened!
18:18:05.250 -> 16384 bytes written to file!
18:18:05.259 -> File Closed!
18:18:05.259 -> 
18:18:05.260 -> 

5.小结

通过对这篇文章我们掌握了MAX7800实现KWS20 demo演示,接下来会有许多有趣的实验,尝试与Arduino通讯做语音小车,进而丰富我们的生活。从而实现对外部世界进行感知,充分认识这个有机与无机的环境,科学地合理地进行创作和发挥效益,然后为人类社会发展贡献一点微薄之力。
再次非常感谢大赛支持和胡同学
参考文献:
window10下配置Maxim SDK
数据手册
MAX78000板卡项目汇总
应用笔记
【window下配置Maxim SDK环境】
【MAX78000基础案例演示】
MAX78000 关键字定位演示 v.3

你可能感兴趣的:(MAX78000,windows,MAX78000)