##引言:
尽管基于机器学习,特别是神经网络—NN在光纤传输的均衡上有诸多优势,但是在具体应用上仍有许多的挑战。其中一个重大的挑战是基于NN的经典算法复杂度太高,因此就需要硬件有更快的处理速度和更大的能源消耗。
有一篇论文中指出,在NN均衡器复杂度不受限的情况下,CNN +BiLSTM在几种NN结构的均衡算法中具有最好的性能。在该论文中也指出,降低算法整体复杂度的方法包括:减少节点、隐藏单元、滤波等的个数,但也会带来严重的性能恶化。
为了平衡复杂度&性能,有两种方法被普遍的采纳:
##光纤传输中的非线性问题:
上式可以用来对仅有单偏振的光纤传输系统建模,比如IM/DD系统。但是一个相干光通信系统中可以利用先进的DSP技术传输双偏振信号,可以使系统的频谱效率翻倍。其NLSE方程如下:
上式也正确的平均了能导致相位快速变化的残留双折射的影响。电场偏振态的快速变化,导致非线性不是对应于来自线性场或者圆极化场中的一个,而是来自整个庞加莱球的平均。当然,上式也没有考虑受激拉曼散射的影响。事实上,SRS影响通常在仅有C波段的系统中是可以忽略的,但是随着在超宽带光学系统的到来,SRS是光网络中主要的传输损伤。
#非线性克尔效应造成的信道容量受限
香农理论极限指出:线性信道的容量随着传输信号的功率的增大而单调上升。但是,在光纤光学中,这个上升的趋势却不能保持。随着传输信号功率的增加,这一项也会变大进而造成相位失真,从而限制了光网络的最大的吞吐量。
#缓解光传输中克尔效应的方法:
方程式(4)中该方程没有一个闭合解,因此有个经典的方式是利用SSFM方法来获得近似解。(不做过多赘述)光纤中的线性效应,包括GVD、PMD可以通过电域中使用一个频域的均衡器器级联一个MIMO均衡器(CMA补偿?)。另一方面,由克尔效应导致的传输信号上的SPM、XPM的补偿相当的复杂。目前,主要有4种方法用于缓解非线性:
##低复杂度神经网络的设计
BiLSTM均衡器在many-to-one(1维回归任务)的系统配置里,比如,一个窗口的符号最终只用于恢复中间的一个符号,导致复杂度——单位恢复信号所需的实数乘法(RMpS):
ns:时域输入序列的大小。ni:输入特征的个数。no:输出的维度(通常是2维-实部和虚部),nh:LSTM胞体中隐藏层的个数。
如何设计降低复杂度?通过一个NN结构恢复多个信号以此来加强LSTM的均衡作用。恢复多个信号时注意,因为窗口里的初始信号和最终信号会由于色散导致丢失重要信息,最简单的降低时间窗口张量的复杂度且不丢失信息的方式是使用一个1D的卷积层。nk:核的大小因此呢,恢复信号的个数为M-nk+1。方案图如图所示:
计算复杂度在ns-nk+1的并行化恢复的处理下,可以降为:
##深度压缩技术
主要是介绍了三种神经网络的压缩方法:裁剪(pruning),权重聚类(weight clustering),量化(quantization)
#裁剪:裁剪技术的适用范围非常广,而文中主要考虑的是针对静态的、迭代的、非结构化的、global magnitude-based 裁剪方式。在迭代式的裁剪后的再训练过程中,主要也是有四种方法,分别是:微调(Fine-tuning approach)、权重复卷(weight-rewinding)、学习率复卷(learning rate rewinding)、贝叶斯优化器辅助(Bayesian optimizer assisted)下面给出了四种方法的原理图。
#权重聚类
权重聚类也被称为权重共享压缩方法,是另一种可以通过减少模型使用的有效权重数量来降低神经网络模型复杂性的方法。这种方法考虑到几个连接可能共享相同的权重值,然后对这些共享的权重进行微调。
在选择中心点初始化技术之后,使用每个权重到这些中点的最小距离来确定训练网络的每一层的共享权重,以便同一聚类中的所有权重共享相同的权重值。为了防止进一步的性能损失,并且因为在连续层之间共享权重不会降低计算复杂性,所以在层之间不共享权重。下图展示了该策略是如何应用的。
从图中可以看出,初始权重值在训练之后只有三个不同的中心点。需要注意的是,使用这种技术带来的好处取决于输入向量和权重矩阵的长度,以及学习到的权重模式如何分布在权重矩阵上。
#量化
量化用于降低参与算术运算的数字的位宽,这通常有助于显著降低处理的计算复杂性。使用神经网络模型训练和推理时,量化具有非常好的效果。神经网络得益于量化,因为神经网络对激进量化和极端离散化具有显著的鲁棒性。这种鲁棒性来自于神经网络中涉及的大量参数,这意味着它们通常使用过度参数化的模型。下面主要介绍4种模式(训练后量化、量化感知训练、量化方法(同质和异质))。
##NN均衡器的性能评估
##计算复杂度的评估标准
估计不同类型的伸进网络层计算复杂度的一般方法中有四个指标,分别是:乘法的数量、位操作的数量、移位和添加操作的数量、硬件逻辑门的数量。
四种不同评价标准的用法: