【翻译】T-WAVENET: A TREE-STRUCTURED WAVELET NEURAL NETWORK FOR TIME SERIES SIGNAL ANALYSIS
T-WAVENET: A TREE-STRUCTURED WAVELET NEURAL NETWORK FOR TIME SERIES SIGNAL ANALYSIS
业余时间学习机器学习总是断断续续的，影响不深刻，为督促自己学习，尝试翻译一些论文。这是第一篇，只能说尽量翻译准确。
Minhao LIU, Ailing Zeng, Qiuxia LAI, Ruiyuan Gao, Min Li, Jing Qin, Qiang Xu Department of Computer Science & Engineering, The Chinese University of Hong Kong School of Nursing, The Hong Kong Polytechnic University {mhliu,qxu}@cse.cuhk.edu.hk
摘要
时间序列在很多应用中扮演了基础角色，比如，行为识别和健康监测。最近使用深度神经网络（DNN）比传统的手工操作更有效。然而，大多数存在的方法单一的依赖网络从原始信号抽取特征，忽略了内在的物理和统计属性，导致特别是在训练数据受限的清空下得到子优化的性能。
在这个工作中，我们提出了一个树形波神经网络结构用来做时间序列推断，命名为T-WaveNat，她利用了信号不同类型的内部属性，这个属性被称为主频率范围。特别的，对T-WaveNet,首先构造频谱能量分析来获取一组主频率子带。然后，构造一个树形结构，他把输入信号分解成有相似能量的不同频率子带。树的每个节点被一个可逆神经网络（INN）构建，并且INN是基于波形迁移单元的。这样一个解纠缠的表示学习方法一个可判别特征的更有效的抽取，同时在各种现实生活时间序列分类数据库上的复杂实验上展示出来。
简介
时间变化信号的推断在各种应用中扮演了重要的角色。例如，智能手表利用人类活动记录的惯性信号；脑计算推断应用生物信号去识别用户意图；临床医学利用表面电力信号做神经临床推断，并开发肌肉计算推断以控制外部设备。
上面列举的都是典型的时间序列数据（例如，一个观察集合并且按照时间排序）并表示信息在一个特定的频率范围。一般来讲，时间序列信号推断包含三个步骤：1 数据分割，使用固定的或变长的窗口把连续的信号化成为不同的段。2 特征提取，不同的技术被利用来抽取每段的解纠缠的特征。 3 下游任务，使用抽取到的特征为特定的任务生成想要的输出。
在三个步骤中，特征抽取是最重要的一个步骤。传统的时间序列特征抽取方法初略的可以分为统计和结构方法。以前利用时间域或者频率域的统计测量来找出具有可鉴别的特征，在时间域的特定方法是均值和方差，在频率域的短时傅里叶变化short-time Fourier transform和离散波迁移。另一方面，结构方法使用多项式或指数推断目标在于数据之间的内部交互的形态学。
上面的手工特征对于一些简单的信号推断任务是有效的。他们的表示能力很有限，不能对有噪音或人工污染的复杂信号进行处理，因此在现实的任务中少了竞争力。最近，深度神经网络推断变成对时间序列的特征抽取的主流方法。 CNN-LSTM网络，基于transformer技术的方法在文献中提出，在很多任务中取得了很好的性能。
尽管在深度学习取得了异常的成功，但是他们大部分需要很多的标注数据。然而在很多现实应用中，他很困难或者代价很高对于获取足够的标注数据。另外，存在在时间序列里面的噪音和人工干预使得获取有效和鲁棒的表示更加困难。最后，仅仅依靠深度模型从原始信号中抽取信息不能完全展现深度学习的优越性。为了解决这个问题，一些工作试图依靠先验和人工特征来导向模型以训练深度模型，目标在于使用有限的训练数据抽取有效的特征。然而，这些方法或者简单的使用先验知识去选择特征，或者直觉的添加一些统计量作为正则项到这些loss中，这两种方法都不能带来显著的改善。对不同类型的时间信号设计特定的先验特征集是乏味和费时的，并且通常会限制泛化能力。这一点上，一个希望的方法是这样的：深度的集成信号的内部属性到深度学习模型的训练过程中以获取更加有区别性的特征。
在很多时间序列信号中，叫做主频范围的内部属性是一个很明显的内部属性，它是频率分量的一个小子集，能够携带信号的主要信息。例如，按频率分量考虑，人体运动能量超过95%低于15HZ。脑信号的信息频率范围被发现并命名为。。。。然而，深度学习模型没有意识到这些基础的属性，并且不能完全的考虑不同频率分量的不同角色，导致了次优解。受上述启发，我们提出一个新的树结构的波形神经网络，命名为T-WAVENET，它通过不停并有效的集成这个属性到深度模型以获取有效的特征。与前面的方法不同，T_WAVENET自适应的表示更有辨识特征的输入信号的主能量范围，他能自然并容易的泛化并应用到不同类的时间序列中。主要共享为以下三方面：
- 在T-WAVENET中，我们使用频谱能量分析做信号分解，对有更多能量的频率范围划分为更细粒度的自带，在特征向量中，相对于低能量频率子带，它具有更多纬度的表示。这种方式，在有限数量且有潜在噪音样本的训练中，能更有效的学习信息和有辨识能力的特征。
- 为有效的抽取特征，在T-WAVENET中，引入了一个基于波迁移的可逆神经网络（INN）。相对于固定基小波或基于提升的小波，受益于完整的数据驱动特性它提供更好的表示能力。据我们所知，这是第一个尝试在波形迁移中使用INN。
- 最后，受transformr中子注意力模式的启发，我们提出了一个有效的特征融合模型，它会考虑不同特征分量之间的特征依赖。它能够有效的促进模型的鲁棒性，因为能减少在不同对象记录的具有异质性信号的影响。
在4个流行的感应器信号数据集上的大量的实验，。。。。 取得了很厉害的效果。
相关工作
在这一部分，我们回顾使用深度学习技术做时间序列分析和波形迁移建模方面的特征抽取的相关工作。
-
2.1 信号分析的特征抽取
现有的随时间变化信号分析的特征抽取方法，可以初略的分为人工和基于深度学习的方法，前者更进一步尅分为统计和结构方法。
人工和结构方法能够广泛的使用在早期的研究中。例如，Kao(2009) 利用均值和绝对均值偏差两个统计特征来做轻型设备的在线行为识别。Duan(2015)对表面肌电图信号做离散波迁移来完成手势分类。虽然相对容易计算，这些人工特征对于复杂任务是无效的。
最近，DNN变成了对信号特征抽取的主流方法。基于CNN的模型被广泛的使用于抽取时间序列数据的局部时间相关性。例如：Lee（2017）用融合不同内核大小的多层CNN模型去获取各种时间序列的时间依赖。Lawhern(2018) 在BCI应用中用Cnn模型构建端到端的模型，取得了很好的效果。然后，基于CNN的模型经常不能满足长距离时间依赖处理，Ordonez(2016) 提出融合CNN和LSTM去抽取长短期时间特征。Xu（2019）提出Inception CNN结构去抽取各种时间序列的局部特征，并利用GRU(gate recurrent unit)去获取全局时间表示。最近基于Transformer方法利用自注意力机制去建模全局时间依赖,在各种任务中取得了很好的性能。例如：song（2021）够着了一个简单且有效的基于transformer的模型，用于对EEG信号分类的特征获取。Li(2021)设计了卷积增强的transform模型，用于人类活动识别的特征抽取，这个模型考虑了time over channel和channel over time的依赖。
上面的解决方案都是尽力的从原始信号中提取特征，而忽略了每种信号特有的特征（比如频谱信息），因此变得更加的无效，特征是在训练数据有限的情况下。一些工作尝试通过传统的时频域特征来引导深度学习来减轻这个问题，因为这些特征能够更加有效的学习特征表示。Ito（2018）使用惯性信号的时域特征组合的光谱图来构建CNN模型，从而提取跨模态特征。Laput（2019）通过cnn模型用传感器的视频域特征来构架一个细粒度的手势感应系统。更进一步，S（2019）集成短时傅里叶变换到深度模型直接学习频率特征。上面的方法都需要对不同的信号设计和规划特征，这是冗长和费时的，也极大的限制了应用场景。
-
2.2 波形迁移模型
像傅里叶和波形迁移这些频域特征抽取方法是更加有效的，因为他能够容易的从频域抽取到可以区分的特征，比起直接从原始信号抽取特征的方法来说。傅里叶变换分解特征到固定的频率量（译者注：应该是指傅里叶级数的每一项），而波形迁移展现了强大的性能对于瞬态信号分析，这归结与用不同的时间概率分析不同的频率的能力。这一部分，我们讲讨论波形迁移。
上面的方法典型的利用了固定波形偏移(a fixed wavelet basis)，他能达到次优，但对复杂的数据缺乏灵活性和表示。最近，Rodriguez(2020)试图在改进方案中替换固定波形偏移(fixed wavelet basis),对图像分类用可学习的深度模型实现可适配的波迁移单元，目标是学习更多的可区别的图像频率特征。
这些工作，为更好的处理复杂的时间空间时间序列数据，我们构建了一个新的有强大表示能力的深度波形迁移单元，命名为 频率对分操作。它分解信号到各种大小的频率子带并用INN建模波形偏移。据我们所知道，首先用INN建模波形迁移。我们将在3.2中详细提出。
图一：给定一个信号，我们首先执行一下步骤：a) 频谱能量分析，用可比较的能量分解信息 ( f s f_s fs)到多个子频段，每个子频段至少有一个共振峰。然后参考以上的分解，我们构造了 b) T-wavenet，一个树形结构的网络，他的每个节点是 c) 频率对分操作（基于INN构建的波形迁移）。这个操作输出信号的高频和低频组件，他的二进制门控值为1则进行上述划分，否则不作处理( ϕ , ψ , ρ , η \phi,\psi,\rho,\eta ϕ,ψ,ρ,η都是相同的结构，Con1d(3,1) → \to →LeakyRelu( α \alpha α=0.01) → \to →Dropout(rate=50%) → \to →Con1D(3,1) → \to →Tanh)。考虑输入的异质性，我使用一个d)特征融合模型合并子频带｛ h i h_i hi｝,考虑了每个子频带之间的特征依赖性。最后，增加的特征向量使用交叉熵loss来做分类。详情见3部分。
3模型
替代以前全部使用深度网络从原始信号中抽取特征，T-wavenet考虑了信息在信号不同频率带宽分布不均匀性，构造了树形结构来学习特征。在模型中，具有更多能量的频带被划分为更细粒度的频带，从而使得拥有更多的纬度的特征向量，更强大的嵌入表示，在时间序列中更具希望的表示。
图一是t-wavenet的总览图。首先使用频率能量分析（图一，a）获取用不同能量和波峰的频率子带。然后，构建树形网络的t-wavenet（图一，b），特迭代的使用频率光谱分析把输入信号分解为不同大小的频率子带。树的每个节点都是一个频率对分操作构建的基于INN的迁移单元（图一，c）。这个操作使用一个二进制门控。门控值是1则输出信号的高频和低频组件，否则不处理输入信号。另外，不同的主题可能有特定的内在特征，导致了分布差异。处理这些个性化异质性，从每个频率子带获取特征之后，使用有效的融合模型去增强任务导向的子带特征。
-
3.1 频谱能量分析
为了定量的评估频率范围信息，为t-wavenet构建执行频率划分，我们执行频谱能量分析，获取频谱能量初略相等频率子带。这种方式，信息频带可以划分为更细的子带并表示为更多纬度的特征，更容易学习到信号特征。- 频谱能量分析分为两个阶段：共振峰引导划分阶段（获取初始频率子带集）,并且能量向导的划分讲进一步的平衡每个子带的能量。在第一阶段，给定输入信号X= R N R^N RN,我们使用傅里叶变换在整个信号上计算频谱。我们获取了一组波峰P= { f p } p \{{f_p}\}_p {fp}p,这里 f p f_p fp是频谱包中的局部最大共振峰(译者注：我觉得应该是指傅里叶级数中的项)。这些共振峰是信号信息的最直接来源。然后，我们递归的二分频率带直到最多一个共振峰落在每个频率子带[ f i , f j f_i,f_j fi,fj],这里 f i f_i fi和 f j f_j fj是开始和结束频率。所有的频率子带被集合在集合Q中。第二阶段，我们用公式1计算集合Q中每个频率子带的能量。并且进一步二分具有能量超过最小值能量 E m i n E_{min} Emin的 ζ \zeta ζ倍频率子带的，这里 E m i n E_{min} Emin是集合Q中频率子带的最小能量， ζ \zeta ζ是阀值。这个频率子带划分阶段确保在新的集合 Q ′ Q^{'} Q′中每个频率子带有相似的能量。这里Amp(f) 是一个频率f的振幅。 E n e r g y = ⎰ f i f j A m p ( f ) d f Energy=\lmoustache_{f_i}^{f_j}{Amp(f)d_{f}} Energy=⎰fifjAmp(f)df.
这个频谱能量分析，在原则上，认为是T-wavenet构建的一个优点。在集合 Q ′ Q^{'} Q′上，我们构建t-wavenet分两步：1：自底向上标记，2：修剪。在自底向上的标注中，给所有的二分树相同的高度，我们定位集合 Q ′ Q^{'} Q′中的频率子带并赋予其二进制门值为0，把他们作为叶子节点。然后我们设置这些叶子节点到根节点路径上 的所有节点的二进制门值为1。这些结果节点的叶子覆盖了集合 Q ′ Q^{'} Q′中的频率子带。如上所述，频谱能量分析把更多能量的频率带划分为更细的频率子带。
- 频谱能量分析分为两个阶段：共振峰引导划分阶段（获取初始频率子带集）,并且能量向导的划分讲进一步的平衡每个子带的能量。在第一阶段，给定输入信号X= R N R^N RN,我们使用傅里叶变换在整个信号上计算频谱。我们获取了一组波峰P= { f p } p \{{f_p}\}_p {fp}p,这里 f p f_p fp是频谱包中的局部最大共振峰(译者注：我觉得应该是指傅里叶级数中的项)。这些共振峰是信号信息的最直接来源。然后，我们递归的二分频率带直到最多一个共振峰落在每个频率子带[ f i , f j f_i,f_j fi,fj],这里 f i f_i fi和 f j f_j fj是开始和结束频率。所有的频率子带被集合在集合Q中。第二阶段，我们用公式1计算集合Q中每个频率子带的能量。并且进一步二分具有能量超过最小值能量 E m i n E_{min} Emin的 ζ \zeta ζ倍频率子带的，这里 E m i n E_{min} Emin是集合Q中频率子带的最小能量， ζ \zeta ζ是阀值。这个频率子带划分阶段确保在新的集合 Q ′ Q^{'} Q′中每个频率子带有相似的能量。这里Amp(f) 是一个频率f的振幅。 E n e r g y = ⎰ f i f j A m p ( f ) d f Energy=\lmoustache_{f_i}^{f_j}{Amp(f)d_{f}} Energy=⎰fifjAmp(f)df.
-
3.2 频率二分操作
T-WAVENET的每个节点是基于INN的二代小波变换的二分频谱操作。二代小波也被称为提升方案理论，它是一个简单但强大的方法对于构建不同的波。主要观点是利用信号中临近采样的强大相关性去区分高频和低频子带。提升方案分离那个输入向量 X = ( X [ 0 ] , X [ 1 ] , . . . , X [ 2 K − 1 ] ) , K ∈ N X=(X[0],X[1],...,X[2K-1]) , K \in {N} X=(X[0],X[1],...,X[2K−1]),K∈N到高低频率子带，分一下三步。- 划分。信号被划分为两个不重叠的分区，在公式2中。最一般的划分方式就奇偶划分， X e v e n = [ x 0 , x 2 , . . . , x 2 k − 2 ] , X o d d = [ x 1 , x 3 , . . . , x 2 k − 1 ] X_{even}=[x_0,x_2,...,x_{2k-2}], X_{odd}=[x_1,x_3,...,x_{2k-1}] Xeven=[x0,x2,...,x2k−2],Xodd=[x1,x3,...,x2k−1],划分操作是：
- 预测器。这两个分区集合在原始集合是交替分布的。基于信号关联，构建一个好的预测器 P P P区分两个集合是可能的。公式3是一个用 X o d d 预 测 X o d d X_{odd}预测X_{odd} Xodd预测Xodd的例子，这里d代表 X o d d 与 预 测 集 P ( x e v e n ) X_{odd}与预测集P(x_{even}) Xodd与预测集P(xeven)之间的不同。
- 更新器。如公式4中展示，细节d被传入更新器U以更新even部分，目的是保存原始信号的连贯性质，比如均值和更高的动能。c被称作近似值。
( X e v e n , X o d d ) = S p l i t t i n g ( X ) ( 2 ) (X_{even},X_{odd})=Splitting(X) \qquad\qquad(2) (Xeven,Xodd)=Splitting(X)(2) d = X o d d − P ( X e v e n ) ( 3 ) d=X_{odd}-P(X_{even})\qquad\qquad(3) d=Xodd−P(Xeven)(3) c = X e v e n + U ( d ) ( 4 ) c=X_{even}+U(d)\qquad\qquad(4) c=Xeven+U(d)(4) 在传统的波形迁移中，小波基的选择是重要并困难的，他会很大程度的分析结果。固定系数（P,U）的传统构造框架缺乏适配能力对于从复杂信号中抽取更多的信号信息。然而，我们利用INN（一个双射变换）去构造波形迁移单元，能够用一种可学习的结构建模输入和输出之间的相关性。为了合并升举方案和INN，分为以下几步。(i)融合（3）（4）到一个放射函数，如公式5，6所示，能够改善迁移能力。（ii）学习波形系数 ( ϕ , ψ , ρ , η ) (\phi,\psi,\rho,\eta) (ϕ,ψ,ρ,η)在5，6中，他们都是独立的cnn结构. d = X o d d ⊙ e x p ( ϕ ( X e v e n ) ) − ρ ( X e v e n ) ( 5 ) d=X_{odd}\odot{exp({\phi(X_{even})}})-\rho(X_{even}) \qquad\qquad(5) d=Xodd⊙exp(ϕ(Xeven))−ρ(Xeven)(5) c = X e v e n ⊙ e x p ( ψ ( d ) ) + η ( d ) . ( 6 ) c=X_{even}{\odot}exp(\psi(d))+\eta(d). \qquad\qquad (6) c=Xeven⊙exp(ψ(d))+η(d).(6) . 这里 e x p ( ϕ ( . ) ) , e x p ( ψ ( . ) ) exp({\phi(.)}),exp(\psi(.)) exp(ϕ(.)),exp(ψ(.))代表了缩放， ρ , η \rho,\eta ρ,η代表了偏移。
。。。。