An Introduction to Deep Learning for the PhysicalLayer

An Introduction to Deep Learning for the PhysicalLayer

I. INTRODUCTION

这段主要讲了文章的主要工作

• 将发射机、通道和接收器作为一个自动编码器，对于给定的损失函数进行了优化的信道模型，可以通过DL学习来实现完整的发射和接收系统。

• 将上述概念扩展到一个对抗网络中，这种网络由多个传输-接收方对信道容量进行竞争。

• 引入无线电变换器网络（RTNs）作为一种通信集成到DL模型中的方法。

• 研究NNs在复数IQ采样上的应用，解决调制分类的问题，

A. Potential of DL for thephysical layer

1.通信中的大多数信号处理算法在统计和信息论中都有坚实的基础，而且在数学模型中通常是最优的。这些都是线性的，静止的，符合高斯统计的。然而，一个实用的系统有许多不完善和非线性的问题（例如非线性功率放大器），这只能被这些模型近似的捕获。出于这个原因，基于DL的通信系统不需要一个数学上的易处理模型，并且可以针对特定的硬件配置和通道进行优化，从而可以更好地优化这种缺陷。

2.通信系统设计的指导原则之一是将信号处理分解成具有多个独立块的链;每个独立快执行一个具有良好定义和隔离的功能（例如，信源/信道编码，调制，信道估计，均衡）。这种方法已经产生了当今的高效、通用和可控的系统，但还不清楚个别优化的处理块是否达到了最佳的端到端性能。使用DL可以实现理论上的全局性能最优。

3.神经网络可以在并行架构上被高度并行化，并且可以用低精度的数据类型来实现，采用这种形式的“学习”算法可以更快地执行，而且比人工“编程”的同类算法消耗的资源更低。

4.大规模并行处理体系结构与分布式内存体系结构，例如图形处理单元（gpu），以及日益专业化的NN芯片，已经显示出非常高效的能力，并且在并行算法的充分利用下，具有令人印象深刻的计算吞吐量。

B. Historical context and related work

在通信中使用ML包括信道建模和预测、均衡、解码、量化、压缩、解调、调制识别和频谱感知。所有这些应用都集中在单独的接收处理任务上，而对完整的端到端系统则完全没有。

目前，将DL应用到物理层的方法主要有两种。本文的目标是用DL来改进/增强现有算法的部分，或者完全取代它们。

第一类论文

用DL改进信道传播信道解码和多输入多输出（MIMO）检测。

第二类论文

处理低分辨率量化的MIMO系统的盲检测，以及在这种情况下，对不存在数学信道模型的通信进行检测。学习解决无线资源分配的复杂优化任务，使用DL来进行调制识别，信号压缩，信道解码。

II.DEEP LEARNING BASICS

介绍了一些深度学习的基础知识，如神经网络的层结构，激活函数，损失函数等。

A. Convolutionallayers

介绍了CNN的基础知识，如卷积、池化、全连接等

B.Machine learning libraries

介绍了一些深度学习框架，如caffe，tensorflow，mxnet，pytorch，keras

C. Network dimensions and training

介绍了神经网络的层数“深度”的意义及一些训练优化算法如Adam，SGD，Dropout。

III. EXAMPLES OF MACHINE LEARNING APPLICATIONS FOR THEPHYSICAL LAYER

本节展示了如何将终端通信系统作为自动编码器，并通过SGD对其进行训练。再将其扩展到多个发射器和接收器，研究一个双用户干涉通道。在此之后，引入RTNs的概念来提高衰落信道的性能，并将其应用于原始的射频时间序列数据，以实现调制分类的任务。

A. Autoencoders for end-to-end communicationssystems

图1 简单的通信系统

发送者想要将M个可能的消息中的一个发送给有n个信道的接收器。应用转换形式f将信息 s生成转换信号x=f(s)（即调制）。信道由条件概率密度函数p（y|x）描述，其中y 表示接收信号。接收到y，接收方应用转换方式g（即解调）来生成传输消息s的估计s^。

后面，符号（n，k）表示通信系统通过n个信道发送一个2的k次方的信息（即：k位）。通信速率是R=k/n（位/信道数）一般来说,发射机的硬件条件还会对x施加一定的约束，例如，能量约束，幅度约束，平均功率约束。

从DL来看，这个简单的通信系统可以被看作是一种特殊的自动编码器。它试图学习信息s的转换形式x，和信道映射x到y的损耗(即噪声、衰减、失真等)，以便能够以很小的错误概率来恢复输的消息。换句话说，当大多数自动编码器为了压缩数据从输入数据中删除冗余的时候，这个自动编码器通常会增加冗余，学习一种中间表现形式，以表示对信道的干扰。

图2通信系统看作一个自动编码器

图2显示了这样一个自动编码器的例子。在这里，发送器由一个前馈NN组成，它有多个dense层，然后是一个标准化层，确保在x上满足物理约束。发射器的输入s被编码为one-hot向量，一个M维的向量，第s个元素等于1而其他的元素等于0.信道由一个带有固定方差的附加噪声层表示。表示每比特（）的能量，即噪声功率谱密度（）比。接收器也用前馈NN实现。它的最后一层使用了softmax激活函数，输出p 是一个含有所有可能的分类信息的概率向量。p中概率最高的元素即解码后的信息估计s^。

图3

图3比较了自动编码器（7,4），二进制相移键（BPSK）调制，使用汉明（7,4）编码的最大似然解码（MLD）的通信系统的误块率（BLER）。系统都以R=4/7的速度运行。为了比较，我们还提供了未使用BPSK（44）编码的误块率（BLER）。这个结果表明，自动编码器在没有任何先验知识的情况下，已经学习了与使用MLD（7,4）的汉明码相同的编码和解码函数。

图3b显示了类似的比较，其中R = 1。虽然自动编码器实现了在（2,2）下与未编码的BPSK具有相同的误块率，但它在（8,8）的全部范围内的性能优于后者。这意味着它已经学习了一些联合编码和调制方案，这样可以实现额外的编码增益。

图4

图4显示了自动编码器在不同条件参数下学习到的星座图。其中(a) (2*; 2) (b) (2; 4), (c) (2; 4)，(d) (7; *4)。

本节将通信视为一个分类问题，M维向量的表示对于非常大的M来说很快就变得不切实际了。为了避免这个问题，可以使用更紧凑的s表示形式，比如使用log2（M）维的二进制向量。在这种情况下，输出激活函数像sigmoid和损失函数像MSE或二进制交叉熵更合适。然而，由于训练集和模型的大小，将这种架构扩展到非常大的M值仍然具有挑战性。自动编码器的一个非常重要的特性是，它可以学习在任何信道上进行通信，即使不知道在理论上最优的方案是什么。

B. Autoencodersfor multiple transmitters and receivers

这节应用上节的自动编码器的概念将其推广到了MIMO。

图5 双用户干扰信道可以看作是两个联合的自动编码器

重点是如何选择损失函数

因为是同时发射s1，s2两个符号，两种传输-接收对都用NNs实现，而与上一节的自动编码器唯一的区别就是传输的消息x1，x2在接收器互相干扰，导致了观测噪声。分别是第一和第二种传输-接收器对的交叉熵损失函数。在这样的环境下，如何训练两个相互耦合的自动编码器是不太清楚的。一种方法是最小化两种损失的加权总和，如果能把L 1减到最小，那么发射机2就能学会传递一个独立于s2的常数信号。然而，对这两种损失给予同等的权重并不一定会导致相同的表现。作者选择了加入一个动态权重。

图6 不同参数（n,k）下自动编码器（AE）在双用户干扰信道下的误块率。

图7不同参数(a) (1; 1), (b) (2; 2), (c) (4;4), (d) (4; 8).下自动编码器在双用户干扰信道下学习到的星座图，红点表示TX1，黑叉表示TX2。

（1;1），发射机已经学会使用二进制相移键控（BPSK）-就像在正交方向上的星座。这可以与QPSK实现相同的性能。对于（2;2）学习到的星座不再是正交的，可以被解释为某种形式的超级位置编码。对于第一个符号，发射机1使用高功率和发射机2使用低功率。对于第二个符号则完全不一样。（4;4）和（4;8）星座更难解释，但我们可以看到，两个发射器的星座都像椭圆，有正交的主轴和不同的焦距。

C. Radio transformernetworks for augmented signal processing algorithms

引入了无线电变换器网络（RTNs）作为一种通信集成到DL模型中的方法。

输入y首先通过一个参数估计网络，有一个已知的变换用来生成规范化的信号，然后在鉴别网络中进行分类以产生输出。

图9 应用RTN和应用RTN的自动编码器误块率性能及相同训练次数下的LOSS值

从图9可以看出应用RTN的自动编码器误块率性能和训练速度都比不用RTN的要好。

D. CNNs for classification tasks

介绍了CNN做调制分类

图10 SNR=10dB下的CNN调制分类预测结果

IV. DISCUSSION AND OPEN RESEARCH CHALLENGES

介绍了未来AI通信的研究方向和挑战

A. Data sets and challenges

为了比较ML模型和算法的性能，需要有公共基准和开放数据集。尽管这是计算机视觉、语音识别和自然语言处理领域的规则，但对于通信来说，这是不存在的。因为它处理的是固有的人造信号，可以被精确地生成，从而使数据生成例程标准化，而不仅仅是在某些情况下的数据。建立一组共同的问题和相应的数据集（或数据生成软件）是值得的，研究人员可以对它们的算法进行基准测试和比较。

B. Datarepresentation, loss functions, and training SNR

应用DL到通信，DL的损失函数和训练策略都是未知的，如何调参和表示数据都是需要解决的问题。还有不同SNR下训练下的结果可能并不通用。

C. Complex-valuedneural networks

通信中一般都用IQ复数处理数据，目前的DL库还不支持对复数进行处理。但也可以把复数看成一正一虚两个实数，及用一个纯实值NN的两倍大小来表示所有复数域的数学运算。

D. ML-augmentedsignal processing

学习端到端通信系统最大挑战就是M的维度问题，k=100位。可能的消息，训练的复杂度是令人望而却步的。

E. System identification for end-to-end learning

在iii-a到iii-c部分中，我们已经默认了通道的传输函数是已知的，因此反向传播算法可以计算它的梯度。从本质上说，硬件和信道构成了一个黑盒，它的输入和输出可以被观察到，但是没有一个确切的解析表达式是预先知道的。从数据中构建一个黑盒模型称为系统识别。一个重要的相关问题是，如何为各种各样的通信场景和任务学习通用模型，从而避免为每个单独的场景重新进行训练。

F.Learning from CSI and beyond

准确的信道状态信息（CSI）是多用户MIMO通信的基本要求。此信息通常不用于任何与当前数据帧处理直接相关的其他任务。存储和分析大量的CSI（或其他的无线电数据）对揭示新的数据驱动的物理层理解算法有很大的潜力。在传统的通信范围之外的新应用，比如人类的跟踪和识别（通过墙壁），手势和情绪识别，可以通过无线电信号来实现。

CONCLUSION

本文讨论了几个关于应用DL到物理层的有前景的新应用。介绍了一种将通信视为端到端的重构优化任务的新方法：使用自动编码器学习发射机和接收机的实现以及没有任何先验知识的信号编码。这种方法相较于传统的基准线在各种情况下都显示出极其具有竞争性的BLER 性能。除了潜在的在可靠性或延迟方面的性能改进，本文方法可以提供关于在最优方案未知的场景（例如干扰信道）的最优的通信方案（例如星座映射）有趣的见解。本文还确定了未来研究的重点领域，并强调了可以用来比较不同的ML模型和算法的性能的基准问题和数据集的需求。