Deep Complex Networks(深度复网络)

DEEP COMPLEX NETWORKS（深度复网络）

文章地址：paper
作者：

参考博客：
博客1
博客2

摘要：目前，深度学习的绝大多数构件，技术和体系结构均基于实值操作和表示。然而，最近关于递归神经网络和较早的基础理论分析的研究表明，复数可以具有更丰富的表示能力，并且还可以促进噪声鲁棒的记忆检索机制。尽管它们可能在带来全新的神经架构具有吸引人瞩目的潜能，但由于缺乏设计此类模型所需的构件，复值深度神经网络已被边缘化。在这项工作中，我们提供了复值深度神经网络的关键组件，并将它们应用于卷积前馈网络和卷积网络LSTM中。更确切地说，我们依靠于复数卷积和目前的算法来实现复数值的神经网络的复数批量归一化，权重初始化策略，并且我们在端到端训练方案的实验中使用它们。我们证明这种复数值的模型的性能与可以与他们相对应的实数模型相媲美或者表现更好。我们在多个视觉任务、音乐转录数据集MusicNet和语音频谱预测数据集TIMIT上测试了深度复数模型，实验表明能够达到更好的性能。

---

INTRODUCTION

• Highway 网络和残差网络通过在低层网络之间提供短链接以减少梯度弥散问题带来的影响
• 对于深度卷积神经网络而言，残差网络已经成为比较受欢迎且有效的训练策略
• 图层残差学习有助于减少解决梯度弥散问题并使得网络更容易优化
• 基于复数值的特征表达有以下几个特点：更易于优化的潜能、更好的泛化特性、学习更快、允许噪声鲁棒的记忆机制
• 将复数值用于递归神经网络（RNNs）也表明网络有更丰富的特征表征能力
• LSTM中增加了具有复值内部表示的联想记忆，其突出了使用复值表示相对于检索和插入关联的优点。

CONTRIBUTION

为了发掘复数表示的优势，本文提出了构建深度复数网络的一般公式，并将其运用到前馈网络和LSTM中

• 对复数批规范化进行了公式化
• 复数权重归一化
• 对不同的复数值激活函数进行比较
• 在多乐器音乐转录数据集（MusicNet）上达到了当前最佳的结果
• 在语音频谱预测数据集（TIMIT）上达到了当前最好的效果

MOTIVATION

• 从计算速度，生物角度和信号处理方面来看，利用复数参数又很多的优点
• 在Holographic Reduced Representations中使用复数值，使得在从关联存储器中检索信息时是高效和稳定的
• 将复数权重和激活函数用于残差网络的灵感来源于残差网络在几个标准数据集上的应用以及其与联想记忆有相似的功能
• 在RNN使用正交权重矩阵为解决梯度弥散问题提供了一个新的视角
• 对于Unitary RNNs，与其相对应正交矩阵相比较， 基于使用正交权矩阵的复数实现的酉正交矩阵具有更为丰富的特征表示，比如离散福利叶变换的实现，光谱特征表示
• 在网络中使用复数权重的motivation在于：a）Reichert and Serre提出biologically plausible deep network表明使用复数形式的神经节点更够得到更为丰富的特征表示;
• 存在于图像相位的信息足以恢复在幅值中编码的大部分信息，相位主要提供一些细节信息，比如形状、边缘、方向

COMPLEX BUILDING BLOCKS

在这一部分给出构建这个复数值网络的核心,主要就是相关的核心数学公式推导。

                图1.复数值卷积和残差网络实现的细节     

复数值的特征表示

在此网络中，首先要得到复数值，然后将复数的实部A和虚部B表示为逻辑上不同的实值实体，并在内部使用实值算法模拟复数运算。

COMPLEX CONVOLUTION

滤波器是复数形式的，计算公式如下：

COMPLEX -VALUED ACTIVATIONS

MODRELU

计算公式如下：

CRELU AND zRELU

计算公式如下：

COMPLEX BATCH NORMALIZATION

其中：

COMPLEX WEIGHT INITIALIZATION

COMPLEX CONVOLUTIONAL RESIDUAL NETWORK

EXPERIMENTAL RESULTS

在这一部分，我们给出了我们的模型在图像、音乐识别和光谱预测上的实验结果。首先，我们给出了我们的网络模型架构，然后给出了其在三个基准数据集（CIFAR-10, CIFAR-100, and SVHN ∗）上的实验结果。并且给出了在数据集MusicNet上音乐自动转录的结果与数据集TIMIT上语音频谱预测结果

实验数据

（a）是输入的实数和虚数对的特征谱，（b作为幅度和相位的特征谱）

stage2 是作为输入的实数部分的特征谱，stage3是作为输入的虚数部分的特征谱

三种ReLU的实验结果对比

为深度复杂网络测试的每个激活函数的相位信息编码。x轴代表实部，y轴代表虚部。

网络架构

S1、S2 和 S3 分别表示在每一层的卷积滤波器的数量。S表示小网络，L表示大网络。

图像识别

基于CIFAR10上的复数值网络与实值网络的训练和测试误差曲线

在MusicNet 数据集上的自动音乐转录

FS代表采样率，params表示总的参数数量，AP表示平均精度

AP就是下图曲线下的面积

语音频谱预测

学习曲线如下：