Deep Learning for Modulation Classification: Signal Features in Performance Analysis解读

 调制分类的深度学习：性能分析中的信号特征

摘要：调制分类（MC）算法越来越适合在认知无线电（CR）设备中的实际应用，这可以看作是最近的工作采用了新的灵活的深度学习模型和包含各种信号损伤的数据集。考虑到这一领域的广泛研究，统一检查常用的最新方法将有助于未来的发展，为比较它们识别各种通信信号的效率提供一个起点。本研究的目的是提供一个比较分析，以明确资料集的类型和内容（信号的统计特征以及噪声的存在）对分类效能的影响方式。因此，一个更加系统的方法来选择合适的输入数据和一个合适的分类器模型，这个方法可以用于未来的发展。

关键词：调制分类、深度学习、特征分析、认知无线电

一、简介

深度神经网络（DNN）软件工具的研究成果充分利用了现代高性能计算资源。近年来，考虑到这些算法在图像处理中的成功应用，它们在软件无线电（SDR）接收机中的潜在应用引起了许多研究者的兴趣。CR（认知无线电）网络可以受益于快速和精确的信号识别方法，因为这使得软件无线电（SDR）设备能够通过其类型（调制）识别特定信号的源，并分析频谱占用率[1]–[3]。近年来，在MC领域已经有了大量的工作（如[2]-[15]），人们越来越重视利用信号的各种统计特征和深度学习来获得更好的识别精度。这些努力的主要目标是在信号被各种无线信道损伤破坏的情况下提高效率，特别是在信噪比为0dB左右和低于0dB的情况下。研究了加性高斯白噪声（AWGN）、不同类型的衰落以及相位和频率偏移对系统性能的影响。为了应对这些挑战，人们采用了多种方法，包括所有主要类型的深度学习（DL）模型[2]、[7]、[11]、[12]以及复杂特征提取[3]、[12]–[14]。基于DNN的MC领域的研究通常在用于评估模型效率的数据上有很大的不同。大部分的工作都是利用非标准化的合成信号和各种模拟的信道损伤，而且产生的数据集的大小往往非常不同。因此，很难比较所提出的模型的优缺点。基于DNN的MC新方法在性能上经常与已有的机器学习（ML）算法（如支持向量机（SVM））进行比较，但对输入数据集的特性进行分析以进一步解释结果的研究很少。因此，这项工作的目标是检查信道损伤（通常由一定的信噪比或SNR表示）在常用信号数据集中的存在对模型的识别精度的影响方式。因此，可以准确地理解任何潜在的绩效障碍。因此，本研究提供了一个问题的三重检验。首先，利用支持向量机对输入信号的不同表示形式进行特征分析。然后，从两个多层模型的基本结构参数（核大小）、输入数据集的表示形式和深度等方面分析了它们的性能。本文的其余部分分为以下几部分。第二节。提供信号特征的广泛视觉和经验分析，并描述所使用的数据集。第三节对相同输入下的相关DL算法进行了评价，第四节给出了结论和今后的工作方向。

二、现代通信信号的信号分类特征

2.1、信号特性综述

鉴于MC领域的许多研究，标准分类方法为算法的改进提供了基础，通过对输入数据的适当表示来提高算法的效率。本节包含对信号类型和组件的影响进行明确说明的检查。信号的高阶矩和累积量（也称为高阶统计量，HOS）由于其较低的计算复杂度而被广泛应用于基于特征的分类器[16]、[17]。使用这种信号参数是因为它们允许在低信噪比水平（<5dB）下进行抗噪分类。

2.2、数据集生成

本文的分析使用了MC文献中流行的数据集“RML2016.10a”，它包含22万个信号，每个信号具有11种不同的调制（PSK8、AM-DSB、AM-SSB、BPSK、CPFSK、GFSK、PAM4、QAM16、QAM64、QPSK、WBFM）和20个SNR电平（[-20；18]dB）。每个信号矢量由128个采样频率为200KHz的样本组成。这些信号是通过使用GNU Radio的处理库的Python脚本生成的。调制数据由ASCII码文本（用于数字调制）和包含语音和音乐的音频（用于模拟）组成，因此每个符号包含8个样本。然后用系数为0.35的根升余弦滤波器对产生的信号进行平滑。然后，添加具有以下参数的信道损伤：

表1 模拟无线信道参数

参数	值
采样频率最大偏移量	50Hz
采样频率最大偏移量	500Hz
Rice衰落	4
时间延迟	[0,0.9,1.7]

2.3、特征的图形表示

这些信号的一些重要的矩和累积量在这里以图形的形式给出，以便评估它们的识别可能性。首先，在信噪比为6dB的情况下，具有非常不同（图1）和相似形状（图2）的信号存在低阶矩和，它们对应的累积量具有相同的值）。图中的每一点表示由IQ数据的矩阵形成的复样本的一个信号向量的参数值。很明显，根据信号的形式（即相位调制和幅度调制）显著不同的调制（图1）可以被完全区分。然而，如果对类似的调制（如QPSK、QAM16和QAM64）进行比较，则它们的识别明显复杂（图2）。

对高阶累积量也作了同样的分析（图3图4）。同样，作者可以看到，如果调制具有非常相似的形状，由于累积量的值具有相同的数量级，因此很难对其进行区分。此外，与图1和图2的比较显示，在高阶累积量的情况下，调制之间的区分更加困难，这是因为它们的特征量的量级非常接近。然而，当在低信噪比水平下检查这些参数时，累积量的使用更加有效（图5和图6）。

2.4、基于支持向量机的特征识别分析

本文的分析更详细地说明了利用MC的基线算法在不同信噪比下区分调制的可能性。采用支持向量机进行分类，比较了三种情况下支持向量机的分类性能：输入数据特征（上述所有矩和累积量）、通过主成分分析（PCA）方法压缩的信号向量以及由未压缩信号的幅度和相位组成的向量。

图7-图10表示了将信号特征用作输入时，与BPSK相比，几种调制的正确分类（鉴别）的可能性以及误差方差。比较了它们对每一类（调制）的区分的可能性，对于样本数（一批信号）有三种选择：300、600和1000。结果表明，从中提取特征的信号数目对识别性能没有实质性影响。

另一方面，在后两种输入类型（压缩信号和由振幅和相位组成的信号向量）的情况下，观察到分类精度显著提高（图11-图14）。自然，压缩比随着信噪比的增加而增加（图15）。对于相移键控（PSK）调制（BPSK-PSK8和BPSK-16QAM），在高信噪比范围内，分类率接近80%。然而，在[-10；0]dB的间隔内，观察到BPSK和16QAM之间几乎完全的区别。这是由于与在信噪比为0dB时观察到的压缩比相比，压缩比急剧下降（图15）。因此，由于每个信号向量中的样本数较多，分类器的性能将提高。然而，在SNR<-10dB的情况下，这种趋势无法继续下去，因为即使在低压缩比下，噪声功率也太高，无法达到显著的识别精度。当支持向量机的输入由未压缩信号的幅度和相位组成时，在SNR>0dB时（对于基于PSK的调制）有较高的分类率。因此，当输入数据被压缩用于具有相似特征的调制时，支持向量机的效率会降低。对于BPSK-AM和BPSK-GFSK的区分，在SNR>-6dB时是可靠的。对于振幅和相位输入数据，分类精度降低了几个百分点。

三、基于深层神经网络的有限元判别分析

本节考察了几种卷积神经网络（CNN）模型在“RML2016.10a”数据集上的性能，以根据参数的设置评估其正确分类的总体能力。用于基准测试的参考CNN模型1是在[6]中提出的。如图16所示。两个卷积层的核大小分别为[256×256]和[80×80]。之后是核大小为[2×3]的最大池层（第一层）和[1×3]的整流线性单元（ReLU）层。最后，使用完全连接（FC）层过滤卷积层输出中的负数，从而简化梯度的计算[19]。正是由于这个原因，ReLU函数在现代DNN中经常被使用。这三层中的每一层都附加了一个正则化参数为0.5 dropout函数。因此，50%的神经元将失活，以防止重量无限增加，从而避免过度拟合。在模型的最后使用softmax激活函数来获得与每个类关联的可能性。优化是通过广泛使用的Adam求解器进行的[20]。

该CNN被修改以获得四层（图17）和两流模型（图18）。其结构与参考模型相似，其参数如图所示。这些CNN旨在扩展参考模型的容量，以获得更高的性能。

3.1、实验分析

在此，分析本节所述CNN的性能。实验确定了卷积层核大小对分类精度的影响。然后，对第一个模型（四层CNN）的两种输入数据进行了时域和频域性能比较。为了得到最优的核大小，对所有参考CNN、4层CNN和双流CNN进行了评估。

首先，为了确定核大小的最佳维数，对最简单（参考）模型进行了性能比较。图19示出除了在区间[0,18]dB信噪比中观察到改进的尺寸[2×7]之外，分类器的精度没有显著差异。然而，这种增长并不显著，因此可以得出结论，它与特定的输入数据集相关，因此，最佳内核大小只能通过经验确定。还可以看出，进一步增大尺寸会导致精度下降，因此，不存在超过一个最佳值。(核大小基本没什么太大的影响。)

可以对所提出的四层CNN（图20和图21）作出类似的结论，性能变化也是最小的。当在频域中表示输入信号（图21）时，观察到相同的效果，但总体精度降低10%。然后，考虑到这些和图7-图14中的结果，很明显，信号的最适合的表示是其时域形式。

最后，图22示出了三个被检查模型的性能比较，以获得最佳内核大小。在参考和4层CNN之间观察到一个非常小的差异，而双流模型的精度要低得多。因此，可以得出结论，对于信号数据集，更简单的模型（即更少的层）通常具有优势。

四、工作展望

这项工作提出了一个全面的检查接收信号的组成部分，以评估CNN的性能瓶颈及其发生的原因。为此，提供了图表和经验分析。由于具有相似调制的信号之间的相似性，它们的特征比那些差别很大的信号（例如振幅和相移键控）更难区分。此外，分析表明，在SNR<0dB的情况下，由于DL模型提取和学习的信号特征对显著噪声不具有弹性，因此无法实现可靠的分类。从另一个角度来看，它们的低计算复杂度（在CR设备在其操作期间未执行的初步训练之后）是非常理想的。从逻辑上讲，基于DNN的MC可以有效地用于高功率干扰源的识别。由于缺乏对大多数DNN组分进行精细调谐和综合分析的能力，通常无法对结果的非线性变化做出明确的解释，从而发现拟合的改进。本文提出了一个很有前途的解决方案，即通过张量完成的正则系统辨识，它提供了非线性函数的可证明精确逼近[21]。该方法具有输入数据独立性、直观性和对性能下降原因的精确解释能力等优点。因此，它为未来无线电信号的分析提供了一个强有力的方向。

参考文献

[1] W. A. Gardner, “Signal interception: A unifying theoretical framework for feature detection,” IEEE Transactions on communications, vol. 36, no. 8, pp. 897–906, 1988.

[2] S. Rajendran, W. Meert, D. Giustiniano, V. Lenders, and S. Pollin, “Deep learning models for wireless signal classification with distributed lowcost spectrum sensors,” IEEE Transactions on Cognitive Communications and Networking, vol. 4, no. 3, pp. 433–445, 2018.

[3] X. Xiong, J. Feng, and L. Jiang, “Automatic digital modulation classification for ors satellite relay communication,” in Wireless Communications & Signal Processing (WCSP), 2015 International Conference on. IEEE, 2015, pp. 1–5.

[4] A. Ali, F. Yangyu, and S. Liu, “Automatic modulation classification of digital modulation signals with stacked autoencoders,” Digital Signal Processing, vol. 71, pp. 108–116, 2017.

[5] D. Hong, Z. Zhang, and X. Xu, “Automatic modulation classification using recurrent neural networks,” in Computer and Communications (ICCC), 2017 3rd IEEE International Conference on. IEEE, 2017, pp. 695–700.

[6] T. J. O’Shea, J. Corgan, and T. C. Clancy, “Convolutional radio modulation recognition networks,” in Engineering Applications of Neural Networks, C. Jayne and L. Iliadis, Eds. Cham: Springer International Publishing, 2016, pp. 213–226.

[7] Y. Xu, D. Li, Z. Wang, Q. Guo, and W. Xiang, “A deep learning method based on convolutional neural network for automatic modulation classification of wireless signals,” Wireless Networks, pp. 1–12, 2017.

[8] D. Zhang, W. Ding, B. Zhang, C. Xie, H. Li, C. Liu, and J. Han, “Automatic modulation classification based on deep learning for unmanned aerial vehicles,” Sensors, vol. 18, no. 3, p. 924, 2018.

[9] K. S. K. Arumugam, I. A. Kadampot, M. Tahmasbi, S. Shah, M. Bloch, and S. Pokutta, “Modulation recognition using side information and hybrid learning,” in Dynamic Spectrum Access Networks (DySPAN), 2017 IEEE International Symposium on. IEEE, 2017, pp. 1–2.

[10] J. H. Lee, J. Kim, B. Kim, D. Yoon, and J. W. Choi, “Robust automatic modulation classification technique for fading channels via deep neural network,” Entropy, vol. 19, no. 9, 2017. [Online]. Available: http://www.mdpi.com/1099-4300/19/9/454.

[11] G. J. Mendis, J. Wei, and A. Madanayake, “Deep learning-based automated modulation classification for cognitive radio,” in Communication Systems (ICCS), 2016 IEEE International Conference on. IEEE, 2016, pp. 1–6.

[12] T. J. OShea, T. Roy, and T. C. Clancy, “Over-the-air deep learning based radio signal classification,” IEEE Journal of Selected Topics in Signal Processing, vol. 12, no. 1, pp. 168–179, 2018.

[13] G. Qing Yang, “Modulation classification based on extensible neural networks,” Mathematical Problems in Engineering, vol. 2017, 2017.

[14] Z. Zhang, Z. Hua, and Y. Liu, “Modulation classification in multipath fading channels using sixth-order cumulants and stacked convolutional auto-encoders,” IET Communications, vol. 11, no. 6, pp. 910–915, 2017.

[15] X. Zhu and T. Fujii, “A novel modulation classification method in cognitive radios using higher-order cumulants and denoising stacked sparse autoencoder,” in 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA), Dec 2016, pp. 1–5.

[16] V. D. Orlic and M. L. Dukic, “Automatic modulation classification: Sixth-order cumulant features as a solution for real-world challenges,” in Telecommunications Forum (TELFOR), 2012 20th. IEEE, 2012, pp. 392–399.

[17] A. Abdelmutalab, K. Assaleh, and M. El-Tarhuni, “Automatic modulation classification based on high order cumulants and hierarchical polynomial classifiers,” Physical Communication, vol. 21, pp. 10–18, 2016.

[18] T. J. O’Shea and N. West, “Radio machine learning dataset generation with gnu radio,” in Proceedings of the GNU Radio Conference, vol. 1, no. 1, 2016.

[19] P. Ramachandran, B. Zoph, and Q. V. Le, “Searching for activation functions,” arXiv preprint arXiv:1710.05941, 2017.

[20] D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” arXiv preprint arXiv:1412.6980, 2014.

[21] N. Kargas and N. D. Sidiropoulos, “Nonlinear system identification via tensor completion,” arXiv preprint arXiv:1906.05746, 2019