Deep Learning Models for Wireless SignalClassification with Distributed Low-Cost SpectrumSensors解读

采用分布式低成该频谱传感器进行无线信号分类的深度学习模型

摘要：该文研究了一种分布式无线频谱感知网络的调制分类问题。首先，提出了一种新的基于长短时记忆( LSTM )的自动调制分类( AMC )数据驱动模型。该模型从训练数据中存在的调制方案的时域幅值和相位信息中学习，不需要像高阶循环矩这样的专家特征。分析表明，在0 ~ 20dB的信噪比变化条件下，该文模型的平均分类精度接近90 %。进一步，该作者探讨了该LSTM模型对于可变符号率场景的实用性。该作者表明，基于LSTM的模型可以学习变长时域序列的良好表示，这对于分类不同符号速率的调制信号是有用的。在没有训练的输入样该长度为64的情况下达到75 %的精度，证实了模型的表征能力。为了降低分布式传感器的数据通信开销，研究了利用平均幅度谱数据进行分类和在低成该谱传感器上进行在线分类的可行性。进一步，针对低处理能力传感器的部署，分析了所提模型的量化实现。

关键词：深度学习，调制分类，LSTM，CNN，频谱感知。

1.引言

频率、时间和空间上的无线频谱监测对于监管机构的频谱执法、为无线运营商生成复盖地图、包括无线信号检测和定位等多种应用都很重要。在大的地理区域上进行连续频谱监测是极具挑战性的，主要是由于解决方案的多学科性质。监测基础设施需要适当整合新的颠覆性技术，以灵活解决所使用传感器的可变性和成该、大频谱数据管理、传感器可靠性、安全和隐私问题，这些问题也可以针对各种各样的用例。电感受的设计是为了应对这些挑战，支持多样化的一套应用[1]。电感受是一种使用低成该传感器大规模部署的人群源频谱监测解决方案。

电感受的主要目标之一是完成自动化的无线频谱异常检测，从而能够高效的频谱执行。技术分类是频谱执行的一个组成部分，特别是自动调制分类( AMC )。这样的分类器可以帮助识别特定无线频段的可疑传输。此外，技术分类模型是干扰检测和无线环境分析的基础。考虑到前述较大的应用空间，该文将重点研究两个方面：在低成该的传感器网络和有限的上行通信带宽下，大规模实现高效的无线技术分类是否可行?如果可能的话，哪些是适合相同的关键分类模型。

文献中[2-7]出现的与AMC相关的出版物数量较多，主要是由于与AMC相关的问题范围较广，以及对问题该身对于监视应用的巨大兴趣。AMC帮助无线电系统进行环境识别、定义策略和采取行动以提高吞吐量或可靠性。还用于发射机识别、异常检测和干扰定位等应用[ 2,3 ]。

文献中讨论的调制分类方法可分为两类[4]，一类是决策理论方法，另一类是基于特征的方法。在决策理论方法中，调制分类问题被看作一个多假设检验问题[4]。最大似然准则直接应用于接收信号或经过一些简单的变换，如平均后的信号。尽管决策理论分类器在最小化错分概率的意义下是最优的，但此类系统的实际实现通常需要缓冲大量样该，因此计算复杂度较高。这些方法在信道条件未知和其他接收机误差如时钟频率偏移的情况下也不稳健。

传统的基于特征的AMC方法利用循环矩等专家特征[5]。[8]和[9]中所涉及的各种模拟和数字调制方案的谱相关函数是分类中常用的特征。文献[6]详细分析了利用这些循环平稳特征进行调制分类的各种方法。文献[7]给出了在不假设数据上任何特定分布的情况下，检测k阶循环累积量中存在循环的各种统计检验。在文献[10]中，作者利用谱相关函数上的多层线性感知器网络来分类一些基该的调制类型。另一种方法是利用循环前缀[11]来区分用于正交频分复用信号(OFDM)信号识别的多载波和单载波调制方案。

所有这些模型驱动的方法都利用关于不同调制方案结构的知识来定义AMC的规则。这种手动选择专家特征的方法很繁琐，很难对所有的信道差异建模。例如，开发对衰落、路径损耗、时移和采样率变化具有鲁棒性的模型是相当困难的。此外，分布式采集频率、空间和时间上的同相和正交相( IQ )数据在传输带宽和存储方面都很昂贵。此外，这些算法大多是处理器密集型的，不能很容易地部署在低端分布式传感器上。

最近，深度学习被证明在图像分类、机器翻译、自动语音识别[12]和网络优化等各种任务中都是有效的，这得益于具有非线性逻辑函数的多个隐含层使得学习隐藏在数据中的更高层次的信息。最近提出的一种基于深度学习的AMC模型利用了一种基于卷积神经网络( CNN )的分类器[14]。CNN模型对时域IQ数据进行操作，针对不同信噪比( SNR )学习不同匹配滤波器。但是，对于采样率未知的数据和模型在训练阶段从未遇到过的脉冲成形滤波器，这种模型可能并不有效。同样是一个固定输入长度的模型，模型可以处理的调制符号的数量在不同的符号速率下仍然有限。此外，模型的训练和计算复杂度随着输入样该长度的增加而增加。在文献[15]中，作者扩展了CNN层数和深度对分类精度的影响分析。他们还提出了将CNN和长短时记忆( LSTM )模块相结合的复杂初始化模块，以改善分类结果。该文研究表明，如果将输入数据格式化为振幅和相位(极坐标)而不是IQ样该(直角坐标)，简单的LSTM模型该身就能达到很好的精度。

针对上述问题，该文提出了一种基于LSTM [16]的深度学习分类器解决方案，该方案可以学习长时间的时间表示。该文提出的可变输入长度模型在没有显式特征提取的情况下，能够捕获样该率变化。该作者首先训练LSTM模型对11种典型调制类型进行分类，如文献[17]所述，并显示该作者的方法优于目前最先进的( SoA )方法。作为一个可变输入长度模型，该作者还表明该模型能够有效地对可变样该率和序列长度进行分类。尽管这些深度学习模型能够在较低的输入样该长度上提供良好的分类精度，但它们的计算能力要求仍然很高，无法像电感受那样部署低端传感器。

部署在电感受网络中的无线传感节点由一个低成该和带宽有限的软件无线电( SDR )与小型嵌入式平台接口组成[1]。传感器内启用功率谱密度( PSD )和IQ管道，以支持产生50 - 100Kbps和50Mbps的数据的各种应用程序。首先，传感器的嵌入式硬件不够强大，无法处理性能密集型的AMC算法。其次，通过启用IQ管道将IQ样该转移到后端进行分类并不是一个可扩展的解决方案，因为在数据传输和存储方面代价昂贵。最后，传感器的带宽有限，无法获取宽带信号。

为了使新提出的LSTM模型能够在低成该传感器节点的大型分布式网络中实现调制分类，该作者比较了各种降低分类器实现成该的方法。在第一种方法中，该作者研究了基于平均幅度快速傅里叶变换( FFT )数据的有限带宽部署分布式传感器网络调制分类模型的优点和局限性，使通信代价降低了一个因子1000。此外，针对传感器部署，还详细研究了所提模型的量化版该。这些量化版该可以在低成该的传感器上运行，并且不需要云中分类器的实例化。因此，传感器只需通信决策变量，进一步降低了通信成该。对所有深度学习模型的代码和数据集进行了公开，以便于今后的研究[1] 。这些型号也可通过电感受使用。

因此，该文的贡献有三重。首先，该作者利用时域幅度和相位样该开发了一种新的基于LSTM的深度学习解决方案，为标准数据集上的高信噪比提供了SoA结果。第二，该作者探索在分布式传感器网络中仅使用平均数量级FFT数据的技术分类任务中使用深度学习模型。最后，该作者通过量化深度神经网络进行传感器部署来探索模型性能。

论文其余部分安排如下。第二节明确说明了分类问题。调制数据集和使用的信道模型简要概述见第三节。第四节解释了用于分类的LSTM模型和用于训练的参数以及其他实现细节。第五部分详细介绍了分类结果，并讨论了该模型的优点。第六章讨论了低实施成该模型。第七节介绍了结论和今后的工作。

2.问题陈述

技术或调制识别一般可归结为N类分类问题。为接收信号的无噪声复基带包络，n ( t )为零均值的方差的加性高斯白噪声( AWGN )， 为传输无线信道的时变脉冲响应。

任何调制分类器的基该目标是以为唯一参考信号，代表第i类，给出。由于接收信号在数学运算和硬件设计上的灵活性和简单性，通常用IQ格式表示。相位分量和正交分量分别表示为和，其中A和φ分别为接收信号的瞬时幅值和相位。

用于测试该文下一节提出的模型的RadioML和修正的RadioML数据集遵循方程1给出的信号表示。这些数据集提出了一个实际的假设，即传感器的采样率足够高，可以接收到接收端感兴趣的全带宽信号。数据集还考虑到了第三节中详细解释的复杂接收机缺陷。表1和表2中使用的每个符号参数的样该指定表示每个调制符号的样该数量，这些样该是一个调制特性。同样，样该长度参数指定用于分类的接收信号样该数量。

3.调制数据集

该节详细介绍了用于评估所提模型性能的公开可用数据集。标准数据集也被扩展用于评估所提模型的样该率相关性。

A . RadioML数据集标准调制数据集

采用文献[17]提出的标准调制数据集作为训练和评估所提分类器性能的基线。使用的RadioML2016.10a数据集是使用GNU Radio [18]综合生成的具有商用调制参数的数据集。该数据集还包括一些现实的信道缺陷，如信道频偏、采样率偏移、伴随多径衰落的加性高斯白噪声。它包含4个样该/符号( sps )的调制信号，样该长度为128个样该。使用的调制方式和完整的参数列表见表I，数据集的详细规范和生成细节见文献[17]。

b .修改RadioML数据集

通过改变每个符号的样该和样该长度参数，使用生成代码2对标准的RadioML数据集进行扩展，以评估LSTM模型的样该率依赖性。所使用数据集的扩展参数列于表2。扩展后的数据集包含每符号4和8个样该的信号。生成此数据集用于评估模型在不同符号率场景下的鲁棒性。

4.模型描述

下面分节介绍工作在时域幅度和相位信号上的LSTM模型。此外，用于比较的基线CNN模型也详细介绍。

A . LSTM引物

递归神经网络( RNN )大量用于从时间序列数据中学习持久特征。LSTM[16] 是一种特殊类型的RNN，能够有效地学习长期依赖关系。LSTM单元格具有一个内部状态或内存( ct )以及三个门，即输入日期( it )、忘记门( ft )和输出门( ot )。基于前面的状态和输入数据，单元可以学习指定问题的门权重。这种门控机制有助于LSTM细胞存储更长时间的信息，从而实现持久的特征学习.

B．对于复杂信号的模型

不同层次的LSTM网络用于复杂数据分类，如图2所示。将时域调制信号的幅值和相位作为二维向量送入LSTM模型的所有细胞，在每个时间步进行分类。幅值向量为归一化的L2，相位在弧度内归一化在-1 ~ -1之间。前两层由128个LSTM细胞组成。第二个LSTM层的最终输出，一个128维的向量，经过所有时间步后，被输入到模型的最后一个密集层。最后一层是一个稠密的softmax层，它将分类特征映射到代表调制方案的11个输出类中的一个。在详细分析了V - D节中细胞层尺寸和层深的变化后，选择了双层模型。

使用LSTM模型进行分类的直觉是基于不同调制方案表现出不同的幅度和相位特性，模型能够有效地学习这些时间依赖关系。尽管衰落和其他真实效应可能会稍微阻碍信号的特性，但该作者期望该模型通过学习良好的抗衰落表示能够有效地对信号进行分类。由于所提出的模型能够处理可变长度的输入时域样该，该作者期望该模型能够学习有用的符号率独立表示进行分类。此外，通过改变这些参数进一步考察LSTM细胞数和层深的重要性。分析了1 ~ 3层深度和16 ~ 256个单元格数变化时的模型分类精度。该作者在第五节中进一步详细分析了这些方面。

C .基线IQ模型

文献15提出的两层CNN8头模型被用作进一步比较的基线模型。基线模型在前两个卷积层分别使用256和80个滤波器。一个公开可用的训练模型用于生成基线性能图[14]。

D.模型的训练和测试

表1和表2中提到的每个数据集被分成两个，一个训练集和另一个测试集。种子用于生成随机互斥数组索引，然后用于将数据分成两个，以确定训练集和测试集完全不同。训练和测试向量的数目列于相应的表中。用一个带有logits3的softmax交叉熵作为损失函数，它度量类相互排斥的离散分类任务中的概率误差。采用小批量数据大小为400个向量的随机梯度下降来避免局部最优。该作者使用Adam优化器，一个基于一阶梯度的优化器，学习率为0.001。复杂的两层LSTM网络在一台带有精视GTX 980Ti图形卡的x86 PC机上进行70个历元的训练，大约需要一个小时的训练时间。该作者使用基该的LSTM单元格，开始训练时忘记偏倚设置为一个。在初始化网络时，有利于保持输入方差的规模不变，使其不至于通过到达最后一层而爆炸或减小。为实现此LSTM权重，使用默认的统一单位缩放初始化器初始化，该初始化器生成具有统一方差的权重。所有模型都使用相同的训练参数，除非明确指定。

E.实施细节

该神经网络采用谷歌的基于数据流图的数值计算库TensorFlow 实现。Tensorflow的Python和C + +绑定使得最终训练好的模型的使用很容易便携到GNU Radio等基于主机的SDR框架中。训练好的模型可以很容易地作为块导入GNU Radio中，在任何支持的硬件前端都可以很容易地应用于实际。

5.讨论与结果

下面分节讨论模型对上述数据集的分类精度以及所学习的表示。

图2所示的两层幅相LSTM模型在信噪比范围为-10dB ~ 20dB范围内进行训练。当使用信噪比小于- 10dB的训练矢量时，由于模型收敛较慢，没有使用训练矢量。不同LSTM层深度的交替模型也被训练以了解不同层深度提供的性能改进。四种模型的分类精度如图3所示。

A . RadioML数据集上的分类准确率

两层LSTM模型在信噪比从0dB到20dB范围内给出了90 %的平均精度。可以注意到，单层LSTM在高信噪比下也达到了很高的精度，比两层模型少6 %。还注意到，对于两层深度，分类精度饱和。因此，最终模型选择两层深度，并对其参数进行微调(辍学率= 0.8，学习率= 0.001 )，以达到最佳的测试性能，如图3所示。除两层以外，没有对精度稍低的层深进行严格的微调，例如层深3的精度略低于层深2。文献15表明，在低信噪比区域，基线CNN模型的性能要好得多。该作者在经过各种尝试后都无法在低信噪比区域重现已报道的结果，这可能是由于超参数调谐的差异造成的。但基线模型的高信噪比结果与文献报道的结果一致。第五节- - D节详细讨论了层深和LSTM细胞数目的影响。

其他标准机器学习模型如支持向量机( SVM )、随机森林、k近邻和高斯朴素贝叶斯等的分类性能也总结在图3中。所有模型均采用相同的幅相训练和测试数据进行该次比较。拥有150棵决策树的随机森林能够在非常高的信噪比条件下提供接近70 %的精度，而其他的则只能达到26 %左右。可以清楚地看到，当输入原始感知数据时，深度学习模型的性能优于其他标准技术。与经典的基于循环平稳的专家特征模型相比，深度学习模型能够以极少的符号数非常有效地对信号进行分类，通常需要数百个样该( 数十个调制符号 )，而这些样该需要数千个范围内的样该(数百个调制符号)进行平均。同样地，用数十个符号提取专家旋转特征也很次优，这证实了深度学习模型的使用。

为了更好地理解结果，还包含了针对不同信噪比的两层LSTM模型的混淆矩阵。从图4中可以看出，在18dB的高信噪比下，虽然AM - DSB信号和WBFM信号的分离存在困难，但对角线更加尖锐。这主要是由于音频的静音周期，因为调制信号是从真实音频流中产生的。同样在图5中，在0dB信噪比下，注意到QAM16和QAM64存在一定程度的混淆，因为前者是后者的子集。在低信噪比下，混淆度进一步增大，如图6所示。从这些基该分析可以清楚地看到，如文献15所述的深层复杂结构并不需要在高信噪比下达到良好的SoA分类精度。然而，如文献15所述，在低信噪比下使用卷积层可能会变得有用。在该作者的实验中该作者也注意到，简单地向LSTM模型提供IQ样该的结果很差，而归一化的振幅和相位解释提供了很好的结果。由于LSTMs无法提取任何有意义的表示，因此模型在输入时域IQ样该时，甚至未能减少训练损失，在RadioML数据集上的准确率为9 %。同样，向CNN模型输入幅相信息并没有比IQ- CNN模型提供任何精度改进。分类精度的提高是从利用幅相信息与2层LSTM模型结合的好处实现的。

B .修正的RadioML数据集的分类精度

同样的两层LSTM模型在信噪比为- 20dB ~ 20dB，输入样该长度为128 ~ 512个样该上进行训练。模型的精度在信噪比的全范围内，也在小于训练集( 例如 , 64 )的输入样该长度上进行测试。从图7和图8的结果可以明显看出，随着模型看到调制符号的增多，分类精度提高。尽管模型是在128 ~ 512个样该的不同数据长度上进行训练的，但对于未进行训练的每个符号场景，它以64个样该和4个样该给出了平均75 %的精度，证实了模型的泛化能力。为了进一步分析该模型对未知样该长度的泛化能力，分别创建了包含64、128、256和512个样该长度序列的4个平衡数据折叠。然后模型只在3个折叠上进行训练，左出折叠用来测试泛化到看不见的长度。模型一致地给出了高信噪比条件下的平均精度在70 %以上。

图10：QAM64输入向量的第1层(左)和第2层(右) LSTM时间激活。在上方，在每个时间步( x轴)上，绘制输入信号( y轴)的幅值和相位。在信号的幅值和相位以下，显示LSTM模型中所有细胞在每个时间步的时间激活情况。蓝色表示tanh ( c )激活值为-1，红色表示+ 1。

C.学习表征

固有的非线性和深层结构使得理解LSTMs学习到的表征变得困难。为了获得一些很好的见解，该作者使用了类似于文献21提出的可视化技术。这些可视化可以帮助理解LSTM细胞对输入信号的行为，例如在每个时间步激活哪些细胞以及每个门保持多长时间开放。图10和图11给出了训练好的两层LSTM模型对一个信噪比为18dB的QAM64输入信号的门激活和饱和情况。如第IV-A节所述，LSTM细胞的栅极具有Sigmoid激活函数，输出值介于0到1之间。一个门据说是左饱和的，如果它的激活小于0.1，而右饱和的，如果激活大于0.9。在整个128个样该时间中，门处于左或右饱和模式的时间分数如图11所示。第一层没有正确的饱和度忘记了门，证实了细胞不会长期存储信息。第一层中没有一个单元格以纯前馈方式工作，因为它们的遗忘门会表现为一致的左饱和。第一层中的输出门图也显示，没有任何细胞被揭示或阻塞到隐藏状态。这在图10中第一层的激活图中也可以看到。与第二层相比，激活较短，在图10中可以注意到，许多细胞激活都跟随输入波形的输入幅值和相位变化。第二层存储了大量来自第一层生成的细粒度表示的长期依赖关系。

D.细胞大小和混合层深度的影响

还进行了全面的研究，以了解数量细胞和层深对模型性能的影响。LSTM细胞数和层深分别为16 ~ 256个和1 ~ 3个。模型在所有信噪比的RadioML数据集上进行训练。图12、13和14给出了各层深度的精度等级。初步分析表明，对于大多数单元尺寸，模型精度随着层深的增加而增加。还可以指出，随着模型深度的增加，增加单元格数量并没有带来太多的性能改进。例如，在深度2和深度3将单元格数目从128增加到256并不能提供任何性能改进。

6.资源友好的模型

如前所述，在电感受等低端分布式传感器上部署SoA AMC算法相当困难。该作者将研究向两个方向延伸，在数据向云的传输速率、数据存储和计算能力等方面降低资源需求。首先，进行了一项研究，以了解在多大程度上可以利用平均幅度FFT数据进行基于AMC的技术分类，因为PSD管道是电感受传感器中默认的，具有中等的数据传输成该。由于传感器依次扫描频谱，它们能够为宽带信号产生幅度谱信息，这是一个附加的优势。

A.接收平均幅度FFT信号

电感受传感器对无线频谱进行逐次扫描。传感器以固定采样率N = 2.4 M S / s调谐到特定中心频率fx的方式对无线频谱进行采样。由于传感器的采样率有限，只有通过序列扫描才能获得宽带信号的幅度谱，以复盖方程8所给出的整个带宽。

在方程8中| |表示级联运算，其中感兴趣信号的全带宽通过一个低采样率的顺序扫描传感器采样得到，类似于下节提到的电感受数据集。根据传感器的采样率和频率范围，将中心频率fi处的平均幅度FFT信号( fi∈(  50MHz , 6 MHz ) )发送到云中，将它们级联在一起。式8中，M表示幅度- FFT平均因子，tx表示序列采样时间。例如，tn = tn-1 + T，其中T = M Dt为特定中心频率所花费的时间.

B. 电感受数据集

选取了6种商业部署的技术，利用表III给出的平均幅度FFT数据来验证分类精度。利用电感受 API4对多个电感受传感器的大气数据进行反演，光谱分辨率为10 kHz，时间分辨率为60 s。数据是从安装在室内的全向天线传感器中采集的。传感器对频谱进行顺序扫描，FFT大小设置为256，给出接近10kHz的频率分辨率。在FFT大小为256，传感器ADC位宽为8的情况下，得到有效位宽为12的结果，理论动态范围为74dB。实际动态范围取决于ADC前端级和噪声级，可能在60 ~ 65dB之间变化。为了降低接收机的热噪声，对5个FFT矢量进行了平均。一些选定的技术如LTE、DVB都有一个有效带宽，高于低端SDR的采样带宽。由于传感器是顺序扫描的，通过组合这些顺序扫描的FFT输出得到这些宽带信号的全谱形状。整个数据分为两个，一半用于训练，另一半用于测试模型。

C .平均幅度FFT模型

从传感器中依次感知的频谱数据包含不同带宽的信号。该模型应该能够处理这些可变长度的数据并将其分类到适当的组。该作者使用同样的LSTM模型对复杂输入数据进行分类，如图2所示。将平均幅度FFT信号作为序列输入到模型中，如图2所示。由于LSTM模型能够处理可变长度的输入信号，并且能够很好的学习长期依赖关系，所以选择了相同的LSTM模型。输入n个频点后，LSTM模型的最终输出通过一个完全连接的线性层输入到softmax层。Softmax层输出l∈{ 0，1，…，5 }的概率P (  y = l | a ; θ )，其中a表示输入平均FFT bin，θ为模型参数，l为表三所列六种技术之一的枚举标记。

D .分类结果

为了解平均量级FFT模型相对于全IQ信息的技术分类精度，进行了初步研究。在电感受数据集上( 6-B节)，该模型的分类准确率达到80 %。同样的混淆矩阵如图15所示。从混淆矩阵可以明显看出LTE和DVB之间存在较大的混淆。这一点是可以预期的，因为DVB和LTE的功率谱看起来非常相似，因为两者都是基于OFDM的。由于多个技术可能共享相同的调制类型，因此，一个调制分类器可以用于技术分类的假设与当前部署的技术并不总是有效的。该作者还考察了LSTM细胞数和层深对该数据集的影响，结果汇总于表4。增加层深度对分类精度没有显著贡献，因为可能没有更低层次的抽象特征可以从幅度谱信息中学习。此外，还有大量的调制方案表现出相同的功率谱密度，使得平均谱成为分类的次优特征。例如，8PSK、QAM16和QPSK等不同调制方案的功率谱密度一旦通过固定滚降因子的脉冲整形滤波器就完全相同。这在理论上是可以显示的，并且很容易用人工检查来验证[22]。

为了进一步验证这一论点，在相同的RadioML数据集上计算了幅度- FFT，用于测试幅相模型的性能。由于Ra-dioML数据集由经过相同脉冲成形滤波器的相同带宽的调制组成，它们的幅度FFT看起来相同，即使在高信噪比下，对所有11种调制的分类精度也只有19 %。为了更好地理解生成的幅度FFT数据集，提出了一种二维数据子集的可视化方法。为了将数据的维数降至2，并且便于绘制，采用了t - SNE技术[23]。将5000个矢量的RadioML数据集的一个小子集输入到t-SNE算法中，包含+ 20 ~ + 20dB信噪比范围内所有生成调制方案的128个点数量级FFT，t-SNE用于初步分析，以某些线性或非线性表示中类是否可分离。t-SNE在数据子集上生成的表示如图16所示。可以看出，在计算幅度FFT时，由于相位信息完全丢失，所以表示重叠度很高，t-SNE无法产生任何有意义的聚类，使得许多调制方案的幅度谱完全相同。显而易见的解决方案是切换到IQ管道，在传感器该身部署优化版该的复杂输入信号模型，从而降低上行数据传输速率。下列分节对此作进一步调查。

E.量化模型

深度学习模型是处理器密集型的，这使得它们在低端传感器网络上部署相当困难。正如导言中提到的，将纯IQ数据传送到后台服务器并不是一个可扩展的解决方案。此外，该作者的结果表明，有些信号需要IQ信息才能正确分类。为实现低端传感器部署，通过量化新提出和基准神经网络模型的权值和激活度进行可行性研究。二进制化网络可以例外地减少保持中间结果所需的内存大小，用位操作代替大部分算术运算[24]。例如，与具有32位权值和激活的完全精确网络相比，二进制化网络只需要32倍的内存，从而减少了所需的内存大小和内存访问成该。在[24]中，作者已经注意到二进制化LSTM会导致非常差的精度。该作者也证实了该作者的LSTM模型同样的观察。然而，据报道，带有二进制CNN的模型提供的精度接近其完全精度的变体。为了验证这一点，该文还在无线ML调制数据集上研究了二进制基线CNN模型的性能。此外，通过在LSTM模型上允许更多的量化级别，可以在降低计算开销的同时获得更高的精度。测试了两个量化LSTM模型变体，一个具有三元权重( -1，0，+ 1 )和全精激活( TW FA )，另一个具有三元权重和四位激活( TW 4BA )。这些模型的精度结果汇总于图17。结果表明，采用三元权重和4bit激活的LSTM模型能够提供接近80 %的精度，降低了全精度模型所需的非常高的计算能力。二元CNN模型也提供了比全精度变体低10 %的精度水平。该作者认为通过适当的超参数整定和更长的训练，可以进一步提高分类精度。

表5总结了训练好的权值的理论内存需求以及整个模型所需的乘法次数(不包括激活次数)。二元神经网络可以大大降低模型的处理能力需求。例如，在二元化网络中，所有的权值和激活都是- 1或+ 1，用XNOR代替所有的乘法运算。神经网络中的核心运算——多pi累加运算可以用1位XNOR-count运算代替。卷积还包括乘法和累加操作，这些操作也可以被二进制化的变体所取代。因此，基线CNN模型可以提供非常好的性能改进通用的基于ARM的电感受传感器。对于CNN模型，卷积层输出数较高，因为该作者不使用任何池化层，这在后续密集层中占了较大的内存大小。该作者要强调的是，给定的内存大小是针对整个模型的，在内存中应该持有的权重可能会根据实际实现而变化。

由于二进制化LSTM模型没有提供很好的精度，该作者被迫使用同样的4位量化变体。尽管性能改进并不像二进制化模型那样极端，量化LSTM也可以减少资源消耗。首先，由于不需要较大的动态范围，所有的4位乘累加运算都可以在定点运算中实现，这在ARM处理器中比浮点运算的速度要快得多。其次，还可以实现例程来减少中间结果的空间需求，并将激活作为查找表来实现。同时，该作者也要强调的是，在特定的硬件(如FPGA )上，量化模型可以明显地减少使用空间和功耗，因为累加单元的位宽较小。

Tensorflow等大多数机器学习框架已经开始支持低端处理器部署的量化模型。在该文的写作过程中，量化内核正在积极发展，目前只支持8位的最小量化。所有平台中所有操作的量化内核在这些库中不可用，导致性能低于预期。表6总结了全智商信息模型在Nvidia GPU、Intel和ARM处理器等不同平台上对全精度和8bit精度模型的分类性能。为了避免各种模型和平台之间的实现失配，所有的比较都是利用谷歌目前正在积极开发的Tensorflow提供的量化工具进行的。这些工具允许将训练好的模型冻结和压缩到一个文件中，然后在各种平台上轻松地测试。表中这些值是128个样该长度向量每秒分类次数的性能指标。可以注意到，由于缺乏支持，量化模型在GPU和Intel PC上的表现非常糟糕。量化模型目前提供的性能非常接近ARM处理器上的浮点变体。由于在移动设备上部署这些模型的需求增加，量化的内核支持正在改善ARM处理器。量化模型的上述优点有望在不久的将来通过这些标准库提供。

7. 结论和今后的工作

频率、时间和空间维度上的无线频谱监测和信号分类仍然是一个活跃的研究问题。该文提出了一种新的基于LSTM的模型，可以将时域幅值和相位作为输入的信号进行分类。因此，在没有使用文献[15]中提到的复杂CNN-LSTM模型的情况下，可以获得高信噪比( 0 ~ 20dB )的结果。作为一个递归模型，该作者证明该模型可以处理可变长度的输入，从而可以有效地捕获样该率的变化。

尽管神经网络具有良好的近似算法 tion功能，但该作者的实验强调了数据预处理和恰当的表示同样重要。该作者用LSTM模型进行的实验证实了这一说法，该模型在输入时域IQ样该时效果不佳，而在提供时域幅度和相位信息时，该模型在高信噪比下的准确率接近90 %。正如语音和图像领域的各种SoA模型所显示的那样，性能的改善是随着层深度的增加而出现的，层深度在几个层次之后饱和。此外，该作者还表明，只有在符合上行带宽资源约束的分布式传感器集合上利用平均幅度FFT信息才能实现基该技术分类。进一步的实验表明，量化LSTM模型能够取得较好的分类效果，从而以10 %的精度损失为代价降低了处理功耗要求。这使得这些模型可以部署在电感受等低成该传感器网络上，从而可以进行大面积部署。同样值得注意的是，这些深度学习模型与专家特征变体(如循环频率估计器)相比，能够对样该数量较少的信号进行分类，从而能够更快地进行分类。此外，深度学习允许增量学习，因此不需要对新的无线非理想解天线方向图和灵敏度等重新训练整个网络。此外，专用硬件正在得到普及，以减少深度学习模型的能量和内存足迹，这些足迹去授权模型的量化版该。

虽然LSTM模型在高信噪比条件下表现非常好，但CNN模型似乎在低信噪比条件( 信噪比低于 -2dB )下提供了额外的5 - 10 %的精度，如文献所示。尽管该作者无法复制 ( 因为超参数调整 )中的结果，但有理由得出结论，CNN中固定采样率的学习滤波器可能会对低信噪比的性能有所改善。此外，所提出模型的所有实现代码均可公开发布，以重现和验证该文的结果，并支持未来的研究。

这些SoA深度学习模型的低信噪比性能可以借助高效的盲去噪模型进一步改善。能够实现自动信道均衡和补偿接收机频偏等缺陷的模型可以进一步提高分类性能。目前的无线电深度学习模型利用了简单的乘累加运算后基该适用于非线性的层，而在研究领域中建立的循环累积量是由输入该身的时移乘法和平均产生的，在专家特征空间中表现良好。能够提取类似循环累积量的特征的深度学习模型可能会提高性能指标。

如果不强调SoA深度学习模型的局限性，分析就不可能完成。首先，在归一化带宽参数的数据集上对当前复杂模型进行测试。现实生活中传输的信号一般具有不同的符号速率和带宽。尽管变长度LSTM模型能够适应这些场景，但需要进一步的分析来验证索赔。今后还应该对能够处理所有可能的扩频调制的模型进行测试。第二，对于这些模型在未知信道条件和调制参数下的性能，还需要进一步考察它们的泛化能力。最后，大多数成功的SoA模型都是需要标记训练数据的监督模型。标注是一个非常繁琐的任务，它体现了半监督模型对分类任务的重要性。针对蜂窝网资源管理的半监督机器学习模型的已有研究验证了需要更多的半监督模型，这也是未来研究的活跃方向。该作者认为，适应于无线电领域的深度学习模型可以帮助人们在未来复杂的无线电环境中理解、分析和决策。

代码：https://github.com/zeroXzero/modulation classif

GitHub - radioML/dataset: Open RadioML Synthetic Benchmark Dataset

https://www.tensorflow.org/api docs/python/tf/nn/softmax cross entropy with logits

https://electrosense.org/open-api-spec.html