枫林扬

论文：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

一、译文：

ABSTRACT

自然语言是分层结构的:较小的单元(例如短语)嵌套在较大的单元(例如子句)中。当较大的组件结束时，嵌套在其中的所有较小的组件也必须结束。虽然标准的LSTM体系结构允许不同的神经元在不同的时间尺度上跟踪信息，但它并没有明确地偏向于对成分层次结构建模。本文提出通过对神经元进行排序来增加这种诱导偏差;一个主输入和遗忘门的向量确保当一个给定的神经元被更新时，按照顺序跟随它的所有神经元也被更新。我们的新递归结构，有序神经元LSTM (on -LSTM)，在语言建模、无监督解析、目标语法评估和逻辑推理四个不同的任务上都取得了良好的性能。

1 INTRODUCTION

自然语言具有连续的显性形式，如口语和书面语，但语言的基本结构并不是严格的连续的。这种结构通常是树状的。语言学家们就确定这种结构的一套规则或语法达成了一致意见，并规定单个单词如何组合成更大的有意义的单位，也称为“成分”。人类的大脑也可以隐式地获得语言的潜在结构：在语言习得过程中，儿童不会得到带注释的解析树。受生物神经系统中信息处理和通信模式的启发，人工神经网络方法对潜在结构的诱导引起了人们更多的兴趣。从实用的角度来看，将树结构集成到神经网络语言模型中可能有以下几个重要原因:

(i)获得一个抽象层次不断增加的层次表示，这是深度神经网络的一个关键特征；

(ii)对语言的成分效应进行建模和通过提供梯度反向传播的快捷方式帮助解决长期依赖问题；

(iii)通过更好的归纳偏差改进泛化，同时可能减少对大量训练数据的需要。

近年来，能够推断并利用树状结构更好地表达自然语言句子的深度神经网络技术的研究受到了极大的关注。

给定一个句子，预测相应的潜在树结构的一种直接方法是通过一个有监督的语法分析器。这些解析器生成的树被用来指导将单词语义组合成句子语义，甚至帮助在给定之前单词的情况下预测下一个单词。但是，受监督的解析器受到限制，原因有以下几个:1)很少有语言具有用于有监督解析器训练的全面注释数据；ii)在某些领域，语法规则往往会被打破；iii)语言会随着使用的时间而变化，所以语法规则可能会进化。

另一方面，语法归纳法仍然是一个有待解决的问题，它的定义是在不访问专家标记的数据的情况下，从原始语料库学习语法结构。最近许多这样的尝试都因为引入了一个琐碎的结构而受挫，或者遇到了使用强化学习学习分支策略(RL)导致的训练困难。此外，一些方法的实现和训练相对复杂，如Shen等(2017)提出的PRPN模型。

递归神经网络(RNNs)已被证明在语言建模任务中非常有效。RNNs显式地对数据施加一个链结构。这种假设似乎与语言潜在的非顺序结构不一致并且采用深度学习方法对自然语言数据进行处理存在一定的困难，会导致捕获长期依赖，实现良好的泛化，处理否定等问题。同时，也有证据表明，具有足够能力的LSTMs可能通过隐式编码树结构来实现句法处理机制，如Gulordava等人(2018年)以及最近的Lakretz等人(2019年)展示的。我们认为，下面的问题仍然存在：通过有倾向的学习这种潜在树结构的体系结构是否能获得更好的语言模型？

在这项工作中，我们介绍了有序神经元，一个新的归纳倾向的递归神经网络。这种归纳倾向促进了存储在每个神经元内的信息的生命周期的分化：高级神经元存储长期信息，这些信息被保存了大量步骤，而低级神经元存储短期信息，这些信息可以很快被遗忘。为了避免高阶和低阶神经元之间的严格划分，我们提出了一种新的激活函数，称为累积softmax或cumax()，用于主动分配神经元来存储长/短期信息。我们使用cumax()函数来生成一个主输入向量，而遗忘门确保当一个给定的神经元被更新(擦除)时，按照顺序跟随它的所有神经元也被更新(擦除)。基于cumax()和LSTM体系结构，我们设计了一个新的模型on-LSTM，它偏向于执行类似树的组合操作。我们的模型在语言建模、无监督选区解析、目标句法评价(Marvin & Linzen, 2018)和逻辑推理(Bowman et al.， 2015)四项任务上都取得了良好的性能。对无监督选区解析的结果表明，所提出的归纳倾向比先前提出的模型更符合人类专家提出的语法原则。实验还表明，在需要捕获长期依赖关系的任务中，ON-LSTM模型的性能优于标准LSTM模型，并能更好地泛化较长的序列。

2 RELATED WORK

已有文献利用树结构来完成自然语言任务。Socher等(2010);Alvarez-Melis & Jaakkola (2016);周等(2017);Zhang等(2015)在专家标记的树库上使用监督学习来预测解析树。Socher等人(2013)和Tai等人(2015)使用来自外部解析器的解析信息显式地对树结构建模。后来，Bowman等人(2016)利用监督解析器的先导(Klein & Manning, 2003)来训练堆栈增强神经网络。

从理论上讲，RNNs和LSTMs可以对上下文无关文法和上下文敏感文法生成的数据进行建模(Gers & Schmidhuber, 2001)。然而，最近的研究结果表明，在LSTMs中引入结构信息是有益的。Kuncoro et al.(2018)表明，RNNGs (Dyer et al.， 2016)在主谓一致任务上表现优于LSTMs (Linzen et al.， 2016)， RNNGs对句法结构具有明显的建模倾向。在我们的论文中，我们运行了Marvin & Linzen(2018)最近提供的更广泛的语法测试套件。Bowman等(2014;2015)也证明了树结构模型对于数据由递归程序生成的下游任务更有效。有趣的是，Shi等人(2018)认为，虽然指定的语法树可能不是理想的，但某种层次结构(可能依赖于任务)可能会有所帮助。然而，如何从观测数据有效地推断这种结构仍然是一个悬而未决的问题。

从数据中学习底层语法的任务被称为语法归纳(Chen, 1995;科恩等人，2011)。早期的工作将句法结构纳入到语言建模的上下文中(Roark, 2001;Charniak, 2001;Chelba & Jelinek, 2000)。最近，有人尝试使用神经模型为下游任务合并一些结构(Grefenstette et al.， 2015;Sun等，2017;Joulin & Mikolov, 2015)。一般来说，这些工作用堆栈扩充了一个主要的递归模型，并专注于解决算法任务。Yogatama等人(2018)关注于语言建模和句法评估任务(Linzen等人，2016)，但他们没有显示出模型学习的结构与黄金标准解析树的匹配程度。Shen等人(2017)引入了解析-读取-预测网络(parsing- read- predict Networks, PRPN)模型，该模型试图通过解决语言建模任务来执行解析。该模型使用自我注意来组合之前的状态，其中注意范围由学习的“句法距离”控制。作者表明，这个值对应于解析树的深度。然而，在使用PRPN模型时增加的复杂性使其在实践中变得笨拙。

另一种可能的解决方案是开发具有不同递归时间尺度的模型，作为捕获这个层次结构的一种方法。El Hihi & Bengio (1996);Schmidhuber (1991);Lin等人(1998)描述了以预先确定的时间尺度捕获层次结构的模型。最近，Koutnik等人(2014)提出了Clockwork RNN，它通过在不同的时间尺度上更新来分割RNN的隐藏状态。这些方法通常对数据建模中涉及的层次结构的规律性做出了强有力的假设。Chung等人(2016)提出了一种方法，与Clockwork RNN不同，该方法将学习多尺度层次递归。然而，模型仍然有一个层次结构的预先确定的深度，这取决于层的数量。我们的工作更接近于Rippel et al。(2014)，提出使用嵌入dropout mask归纳一个层次结构的表示单元：单元不是独立随机下降但每当单位下降，所有的单位，按照顺序也下降了。我们的工作可以被看作是cumax()激活平均值实现的dropout的软松弛。此外，我们建议根据特定的输入设置更新掩码，并将整个模型应用于顺序数据。因此，我们的模型可以根据观察到的数据调整结构，而Clockwork RNN和嵌套dropout都将预定义的层次结构强加给隐藏的表示。

3 ORDERED NEURONS

给定一个标记序列及其相应的单位树(图2(a))，我们的目标是在处理观察序列时推断出未被观察到的树结构，即在每个时间步计算隐藏状态。在每个时间步，理想情况将包含当前叶子节点到跟节点路径上的所有节点的信息。在图2(c)中，尽管只有局部被观测到，我们将说明如何包含包括在内的所有组成部分的信息。这种直觉表明，树中的每个节点都可以由一组处于隐藏状态的神经元表示。然而，虽然隐藏状态的维数是预先确定的，但是不同的时间步长和句子中连接叶子和根节点的路径长度可能是不同的。因此，模型的一个要求是动态地将隐藏状态的维数重新分配到每个节点。

鉴于这些要求，我们引入有序神经元，这是一种归纳倾向，迫使神经元在不同的时间尺度上表示信息。在我们的模型中，高级神经元包含从几个时间步骤到整个句子的长期或全局信息，表示根节点附近的节点。低级别神经元编码的短期或局部信息只持续一个或几个时间步长，表示更小的成分，如图2(b)所示。通过控制单个神经元的更新频率，以完全数据驱动的方式学习高阶和低阶神经元之间的区别：为了删除(或更新)高阶神经元，模型应该首先删除(或更新)所有低阶神经元。换句话说，一些神经元总是比其他神经元更新得更频繁(或更少)，而这个顺序是作为模型架构的一部分预先确定的。

4 ON-LSTM

在本节中，我们提出了一个新的RNN单元，ON-LSTM(“有序神经元LSTM”)。新模型采用了与标准LSTM类似的体系结构，报告如下:

$f_t = \sigma(W_f x_t + U_f h_{t-1} + b_f)$ (1)

$i_t = \sigma(W_i x_t + U_i h_{t-1} + b_i)$ (2)

$o_t = \sigma(W_o x_t + U_o h_{t-1} + b_o)$ (3)

$\widehat{c}_t = tanh(W_c x_t + U_c h_{t-1} + b_c)$ (4)

$h_t = o_t \odot tanh(c_t)$ (5)

一个选区解析树和提议的ON-LSTM的隐藏状态之间的对应关系。0令牌序列S = (x1, x2, x3)及其对应的选区树如(a)所示，我们提供了(b)中树结构的块视图，其中S和VP节点都跨越了一个以上的时间步长。高级节点的表示应该在多个时间步骤中保持相对一致。(c)隐藏状态神经元群更新频率的可视化。在每个时间步长，给定输入字，完全更新深灰色块，而部分更新浅灰色块。这三组神经元有不同的更新频率。最上面的组更新频率较低，而较低的组更新频率较高。

与LSTM的不同之处在于，我们用一个新函数替换了细胞状态的更新函数，这个新函数将在下面的小节中进行解释。遗忘门和输入门用于控制细胞状态上的擦除和写入操作，与以前一样。由于LSTM中的门独立作用于每个神经元，因此通常很难辨别神经元之间的信息层次。为此，我们建议通过强制执行神经元更新的顺序，使每个神经元的门依赖于其他神经元。

4.1 ACTIVATION FUNCTION: cumax()

为了强制执行更新频率的顺序，我们引入了一个新的激活函数:

$\widehat{g} = cumax(...) = cumsum(softmax(...)),$ (6)

式中，cumsum表示累积和。我们将表明矢量 $\widehat{g}$ 可以被看作是一个二进制的期望门。这个二进制门将细胞状态分成两段:0段和1段。因此，模型可以对这两个部分应用不同的更新规则来区分长/短期信息。用d表示分类随机变量，该变量表示g中第一个1的索引:

(7)

变量d表示两个段之间的分界点。通过评估在第k个分离点成为分割点之前的分离点概率我们可以计算g中第k个值为1的概率，就是 $d\leq k=(d=0)\vee (d=1) \vee ... \vee(d=k)$ 。因为类别是互斥的，我们可以通过计算累积分布函数：

$p(g_k=1)=p(d \leq k)=\sum_{i \leq k} p(d=i)$ (8)

理想情况下，g应该采用离散变量的形式。不幸的是，计算图中包含离散变量时的梯度并不是平凡的(Schulman et al.， 2015)，因此在实际中，通过计算softmax的累加得到 $p(d \leq k)$ 去使用连续松弛法。由于是二进制的，这相当于计算 $\math{E}[g_k]$ 。因此 $\widehat{g} = E[g]$ 。

4.2 STRUCTURED GATING MECHANISM

基于cumax()函数,我们引入一个主忘记门 $\widetilde{f}_t$ 和主输入门 $\widetilde{i}_t$ ：

$\widetilde{f}_t=cumax(W_{\widetilde{f}}x_t + U_{\widetilde{f}}h_{t-1} + b_{\widetilde{f}})$ (9)

$\widetilde{i}_t=1-cumax(W_{\widetilde{i}}x_t + U_{\widetilde{i}}h_{t-1} + b_{\widetilde{i}})$ (10)

根据cumax()激活的性质，主忘记门中的值从0单调地增加到1，而主输入门中的值从1单调地减少到0。这些门用作单元状态更新操作的高级控制。使用主门，我们定义了一个新的更新规则:

$w_t = \widetilde{f}_t \odot \widetilde{i}_t$ (11)

$\widehat{f}_t = f_t \odot w_t + ( \widetilde{f}_t-w_t)= \widetilde{f}_t \odot (f_t \odot \widetilde{i}_t + 1 - \widetilde{i}_t)$ (12)

$\widehat{i}_t = i_t \odot w_t + ( \widetilde{i}_t-w_t)= \widetilde{i}_t \odot (i_t \odot \widetilde{f}_t + 1 - \widetilde{f}_t)$ (13)

$c_t = \widehat{f}_t \odot c_t + \widehat{i}_t \odot \widehat{c}_t$ (14)

为了解释新的更新规则背后的直觉，我们假设主门是二进制的:

主忘记门 $\widetilde{f}_t$ 控制模型的消除行为。假设 $\widetilde{f}_t = (0,...,0,1,...,1)$ ，分割点是。根据式(12)和式(14)，存储在前一细胞状态 $c_{t-1}$ 的第一个神经元中的信息将被完全删除。在解析树中(例如图2(a))，这个操作类似于关闭前面的成分。大量的归零神经元，即一个大的，代表了解析树中高级成分的结束，因为状态中的大部分信息将被丢弃。相反，一个小的表示低级组成部分的结束，因为高级信息被保留以供进一步处理。

主输入门 $\widetilde{i}_t$ 它是为了控制模型的写机制。假设 $\widetilde{i}_t=(1,...,1,0,...,0)$ ，分割点是dt。给定式(13)和式(14)，大的表示当前输入的包含需要保存几个时间步骤的长期信息。相反,一个小意味着当前输入提供本地信息,可以擦除 $\widetilde{f}_t$ 在接下来的几个步骤。

产品的两个主门代表 $\widetilde{f}_t$ 和 $\widetilde{i}_t$ 的重叠。每当一个重叠存在 $(\exists k, w_{tk} > 0)$ ，相应的神经元编码段的不完整的成分包含一些以前的词汇和当前输入。由于这些组件是不完整的，所以我们希望更新各自块中的信息。在标准LSTM模型中，该段由和进一步控制，以便在块内实现更细粒度的操作。例如，在图2中，单词嵌套在组成部分S和VP中。在这个时间步，重叠的灰色块代表这些成分，这样 $\widetilde{f}_t$ ， $\widetilde{i}_t$ 可以决定是否重置或更新这些块中的每个神经元。

由于主门只关注粗粒度控制，因此用与隐藏状态相同的维度对它们进行建模在计算上是昂贵且不必要的。在实践中,我们设置 $\widetilde{f}_t$ 和 $\widetilde{i}_t$ 为 $D_m = \frac{D}{C}$ 维向量，D是隐藏状态的维度，C是一个块大小的因素。我们将每个维数重复C次，然后再与和进行逐元素的乘法。这种缩减大大减少了需要添加到LSTM的额外参数的数量。因此，每个c大小块中的每个神经元共享相同的主门。

5 EXPERIMENTS

我们对所提出的模型进行了四项任务的评估：语言建模、无监督成分句法分析、目标语法评估(Marvin & Linzen, 2018)和逻辑推理(Bowman et al.， 2015)。

5.1 LANGUAGE MODELING

词级语言建模是对模型处理各种语言现象(如共现、句法结构、动主语一致等)能力的宏观评价。我们通过测量Penn TreeBank (PTB)上的perplexity来评估我们模型(Marcus et al.， 1993;Mikolov, 2012)的任务。

为了公平比较，我们严格遵循AWD-LSTM中引入的模型超参数、正则化和优化技术(Merity et al.， 2017)。我们的模型使用了一个三层ONLSTM模型，隐藏层为1150个单元，嵌入尺寸为400。对于主门，缩小因子C = 10。加上计算主门的矩阵，我们的参数略有增加，从2400万增加到2500万。我们根据验证性能手动搜索on-lstm的一些dropout值。单词向量上用于dropout的值，LSTM层之间的输出，最后一个LSTM层的输出，以及其中的嵌入dropout(0.5, 0.3, 0.45, 0.1)。循环权重矩阵的dropout采用0.45的。

如表1所示，我们的模型在共享相同的层数、嵌入维数和隐藏状态单元的情况下，比标准的LSTM性能更好。回想一下，主门只控制信息如何存储在不同的神经元中。值得注意的是，我们可以在不添加跳跃连接或显著增加参数数量的情况下提高强LSTM模型的性能。

5.2 UNSUPERVISED CONSTITUENCY PARSING

无监督成分句法分析任务将模型感应的潜在树结构与人工专家注释的树结构进行比较。实验采用Htut et al（2018）提出的参数设置。我们在语言模型任务中用我们最好的模型，使用WSJ10数据集和WSJ测试集做测试。WSJ10有7422个句子，其是WSJ数据集去除空元素和标点并限制单词数最多为10个。WSJ的测试集包含2416个不同长度的句子。值得注意的是，WSJ10测试集包含来自PTB数据集的训练、验证和测试集的句子，而WSJ测试使用与PTB测试集相同的句子集。

为了从预训练的模型中推断句子的树结构，我们使用零向量初始化隐藏状态，然后像在语言建模任务中那样将句子输入模型。在每个时间步长，我们计算出的估计值:

$\widehat{d}^f_t = E[d^f_t] = \sum_{k=1}^{D_m} kp_f(d_t = k)=\sum_{k=1}^{D_m}\sum_{i=1}^kp_f(d_t =k)=D_m-\sum_{k=1}^{D_m} \widetilde{f}_{tk}$ (15)

其中为与主遗忘门关联的分裂点上的概率分布，为隐藏状态的大小。给定 $\widehat{d}^f_t$ ，我们可以使用沈et al .(2017)在无监督成分句法分析中的自顶向下的贪婪解析算法。我们首先对 $\{ \widehat{d}^f_t \}$ 进行递减排序。对应排序后序列中第一个 $\widehat{d}^f_t$ ，我们把句子分成 $((x_{<i}), (x_i, (x_{>i})))$ 。然后，我们递归地对成分 $(x_{<i})$ 和 $(x_{>i})$ 重复这个操作，直到每个成分只包含一个单词。

性能如表2所示。on- lstm的第二层在WSJ测试集中实现了最好的无监督成分句法分析结果，而第一层和第三层的性能并不好。一种可能的解释是，第一层和最后一层可能过于专注于捕获对语言建模任务有用的本地信息，因为它们分别直接暴露于输入标记和输出预测，因此可能不鼓励学习更抽象的树结构。由于WSJ的测试集包含了不同长度的句子，而这些句子在训练中是没有被观察到的，因此我们发现ON-LSTM比以前的模型对长句子提供了更好的泛化和健壮性。我们也看到ON-LSTM模型可以为短语检测提供强有力的结果，包括ADJP(形容词短语)、PP(介词短语)和NP(名词短语)。该特性可以使许多下游任务受益，如问题回答、命名实体识别、联合引用解析等。

5.3 TARGETED SYNTACTIC EVALUATION

Marvin & Linzen(2018)提出了有针对性的句法评价任务。它是一组任务，根据三种不同的结构敏感语言现象来评估语言模型：主谓一致、反身回指和负极性项。给定大量最少不同的英语句子对，每对句子由一个语法和一个非语法的句子组成，语言模型应该为一个语法句子分配比一个非语法句子更高的概率。

使用发布的codebase2和Marvin & Linzen(2018)中提出的相同设置，我们在Wikipedia的9000万单词子集上训练我们的on-LSTM模型和基线LSTM语言模型。两种语言模型都有两层650个单元，批大小为128，dropout为0.2，学习率为20.0，经过40个epoch的训练。输入嵌入为200维，输出嵌入为650维。

表3显示，on-LSTM在长期依赖情况下性能更好，而基线LSTM在短期依赖情况下性能更好。这可能是由于隐藏状态下的单位数量相对较少，不足以同时考虑长期和短期的信息。我们还注意到，新产品导入测试用例的结果在不同超参数间具有异常高的方差。这个结果可能是由于Marvin & Linzen(2018)讨论的非语法线索。尽管如此，on-lstm实际上在验证集上实现了更好的perplexity。

5.4 LOGICAL INFERENCE

我们还分析了该模型在Bowman等人(2015)描述的逻辑推理任务上的性能。该任务基于一种包含六个单词和三个逻辑操作的词汇表的语言，or、and、not。描述两句之间关系的逻辑关系有七种相互排斥的关系：两种类型的蕴涵关系、等价关系、穷尽矛盾和非穷尽矛盾以及两种类型的语义独立性。与自然语言推理任务类似，这个逻辑推理任务要求模型预测给定一对句子的正确标签。训练/测试分割如原始codebase3中描述的那样，并留出10%的训练集作为验证集。

我们在这个数据集上评估了on-LSTM和标准LSTM。给定一对句子，我们将这两个句子都输入一个RNN编码器，以最后一个隐藏状态作为句子嵌入。 $(h1, h2, h1\odot h2, abs(h1 - h2))$ 的串联作为多层分类器的输入，给出了7个标签上的概率分布。在我们的实验中，RNN模型在一个隐层中参数化400个单元，输入嵌入大小为128。在不同层之间应用0.2的dropout。这两种模型都是针对包含6个或更少逻辑操作的序列进行训练的，并在最多包含12个操作的序列上进行测试。

图3显示了on-LSTM和标准LSTM在逻辑推理任务上的性能。两种模型对短序列(≤3)的精度均接近100%，而on-lstm在长度大于3的序列上的性能更好。在训练中不存在的较长序列(≥7)上，性能差距继续增大。因此，与标准LSTM模型相比，ON-LSTM模型在面对不同长度的结构化数据时具有更好的泛化性能。树结构模型由于具有ground truth结构作为输入，可以在该数据集上获得较强的性能(Bowman et al.， 2015)。相同复合函数的递归应用程序非常适合这项任务。我们还包括RRNet (Jacob et al.， 2018)的结果，它可以从下游任务感应潜在的树结构。注意，结果可能不具有可比性，因为没有提供用于训练的超参数。

6 CONCLUSION

本文提出了一种新的递归神经网络感应偏压——有序神经元。基于这一思想，我们提出了一种新的循环单元on-lstm，它包括一个新的门控机制和一个新的激活函数cumax(·)。这使得递归神经网络更接近于执行树状组合操作，通过将包含长期和短期信息的隐藏状态神经元分开分配。模型在无监督区域解析上的性能表明，on-lstm以一种与人类专家注释相一致的方式引入了自然语言的潜在结构。感应偏压还使on - lstm能够在语言建模、长期依赖和逻辑推理任务上获得良好的性能。

二、解析

1 回顾

通过前面的译文我们知道作者介绍了一种LSTM的变种：ON-LSTM，其中ON表示“Ordered Neurons”，即为有序神经元，也就是这个变种中的神经元是经过排序的，作者认为这样做可以表达更加丰富的信息。

对于基础的LSTM我们知道其可由下面几个公式描述：

$f_t = \sigma(W_f x_t + U_f h_{t-1} + b_f)$ (16)

$i_t = \sigma(W_i x_t + U_i h_{t-1} + b_i)$ (17)

$o_t = \sigma(W_o x_t + U_o h_{t-1} + b_o)$ (18)

$\widetilde{c}_t = tanh(W_c x_t + U_c h_{t-1} + b_c)$ (19)

$c_t = f_t \odot c_{t-1} + i_t \odot \widetilde{c}_t$ (20)

$h_t = o_t \odot tanh(c_t)$ (21)

其中，分别是遗忘门、输入门、输出门，具体情况这里不再细说，有了门之后就可以整合生成当前时间的和。基础LSTM模型可以用下图表示：

论文：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks_第1张图片

基本LSTM模型

在常见的神经网络中，神经元通常是无序的，比如遗忘门是一个向量，向量的各个元素的位置没有什么规律。如果把LSTM运算过程中涉及到的所有向量的位置按照同一方式重新打乱，权重的顺序也相应地打乱，然后输出结果可以只是原来向量的重新排序（考虑多层的情况下，甚至可以完全不变），信息量不变，不影响后续网络对它的使用。

换言之，LSTM以及普通的神经网络都没有用到神经元的序信息，ON-LSTM则试图把这些神经元排个序，并且用这个序来表示一些特定的结构，从而把神经元的序信息利用起来。

2 自然语言和序列信息

ON-LSTM的思考对象是自然语言。一个自然句子通常能表示为一些层级结构，这些结构如果人为地抽象出来，就是我们所说的语法信息，而ON-LSTM希望能够模型在训练的过程中自然地学习到这种层级结构，并且训练完成后还能把它解析出来（可视化），这就利用到了前面说的神经元的序信息。

为了达到这个目标，我们需要有一个层级的概念，层级越低代表语言中颗粒度越小的结构，而层级越高则代表颗粒度越粗的结构，比如在中文句子中，“字”可以认为是最低层级的结构，词次之，再上面是词组、短语等。层级越高，颗粒度越粗，那么它在句子中的跨度就越大。

论文：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks_第2张图片

3 ON-LSTM基础思想

"层级越高，颗粒度越粗，那么它在句子中的跨度就越大"是ON-LSTM的设计指导思想。首先，这要求我们在设计ON-LSTM的编码时能区分高低层级的信息；其次，这也告诉我们，高层级的信息意味着它要在高层级对应的编码区间保留更久（不那么容易被遗忘门过滤掉），而低层级的信息则意味着它在对应的区间更容易被遗忘。

按照上面的指导思想，假设ON-LSTM中的神经元都是排序好的，向量中index越小的元素，表示层级越低的信息，index越大的元素表示层级越高的信息，ON-LSTM的门结构和输出结构与基本LSTM相同，如(16),(17),(18),(19),(21)所示。不同之处在 $\widetilde{c}_t$ 到的更新机制不同。

接下来，初始化一个全零的，即没有任何记忆，或者想象为一个空的U盘。然后，我们将历史信息和当前输入按一定规律存入到t中（即更新）。每次在更新之前，首先预测两个整数和，分别表示历史信息 $h_{t-1}$ 和当前输入的层级：

$d_f=F_1(x_t,h_{t-1})$ (22)

$d_i=F_2(x_t,h_{t-1})$ (23)

至于、的具体结构，我们后面再补充，先把核心思路讲清楚。有了和之后，那么有两种可能：

1、 $d_f \leq d_i$ ，这意味着当前输入的层级要高于历史记录 $h_{t-1}$ 的层级，那就是说，两者之间的信息流有交汇，当前输入信息要整合到高于等于的层级中，方法是：

$c_t = \begin{pmatrix} \widehat{c}_{t,<d_f}\\ f_{t, [d_f:d_i]} \odot c_{t-1,[d_f:d_i]} + i_{t,[d_f:d_i]} \odot \widehat{c}_{t, [d_f:d_i]} \\ c_{t-1,>d_i} \end{pmatrix}$ (24)

这个公式是说，由于当前输入层级更高，它影响到了交集的部分，这部分由普通的LSTM更新公式来更新，小于的部分，直接覆盖为当前输入 $\widehat{c}_t$ 对应的部分，大于的部分，保持历史记录 $c_{t-1}$ 对应的部分不变。

这个更新公式是符合直觉的，因为我们已经将神经元排好序了，位置越前的神经元储存越低层结构信息。而对于当前输入来说，显然更容易影响低层信息，所以当前输入的“波及”范围是（自下而上），也可以理解为当前输入所需要的储蓄空间就是；而对于历史记录来说，它保留的是高层信息，所以“波及”范围是 $[d_f:d_{max}]$ 自上而下， $d_{max}$ 是最高层级），或许说历史信息所需要的储蓄空间是 $[d_f:d_{max}]$ 。在不相交部分，它们“各自为政”，各自保留自己的信息；在相交部分，信息要进行融合，退化为普通的LSTM。

论文：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks_第3张图片

ON-LSTM设计图。主要想法是将LSTM的神经元排序，然后分段更新。

2、，这意味着历史记录 $h_{t-1}$ 和当前输入互不相交，那么对于的区间“无人问津”，所以只好保持初始状态（即全零，可以理解为没有东西写入）；而剩下部分，当前输入直接把自己的信息写入到区间，而历史信息直接写入到 $[d_f:d_{max}]$ 区间。这种情况下，当前输入和历史信息合并起来都不能占满整个储蓄空间，从而空下了一些剩余容易（中间那部分全零）：

$c_t=\begin{pmatrix} \widehat{c}_{t, \leq d_i} \\ 0_{(d_i:d_f)} \\ c_{t-1, \geq d_f} \end{pmatrix}$ (25)

其中表示大于、小于的区间；而前面的表示大于等于、小于等于的区间。

至此，我们能够理解ON-LSTM的基本原理了，它将神经元排序之后，通过位置的前后来表示信息层级的高低，然后在更新神经元时，先分别预测历史的层级和输入的层级，通过这两个层级来对神经元实行分区间更新。

论文：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks_第4张图片

ON-LSTM分区间更新图示。图上数字都是随机生成的，最上为历史信息，最下为当前输入，中间为当前整合的输出。最上方黄色部分为历史信息层级（主遗忘门），最下方绿色部分为输入信息层级（主输入门），中间部分黄色则是直接复制的历史信息，绿色则是直接复制的输入信息，紫色是按照LSTM方式融合的交集信息，白色是互不相关的“空白地带”。从历史信息（最上层黄色部分）的复制传递中，我们就可以析出对应的如右图的层次结构（注意右图的层次结构与作图的过程不是精确对应的，仅作粗略示意，读者应侧重对图像与模型的直观感知而不是细抠对应关系）。

这样一来，高层信息就可能保留相当长的距离（因为高层直接复制历史信息，导致历史信息可能不断被复制而不改变），而低层信息在每一步输入时都可能被更新（因为低层直接复制输入，而输入是不断改变的），所以就通过信息分级来嵌入了层级结构。更通俗地说就是分组更新，更高的组信息传得更远（跨度更大），更低的组跨度更小，这些不同的跨度就形成了输入序列的层级结构。

（请反复阅读这段话，必要时对照上图，直接完全理解为止，这段话称得上是ON-LSTM的设计总纲。）

4 ON-LSTM建模

1）分段softmax

由3中我们可以知道，模型中的和的预测是关键，很多能够输出整数的函数是不可导的，无法进行反向传播，这里选择“soft”方案，为了进行“soft”，引入记号，表示第个位置为1，其余位置为0的 $d_{max}$ 维向量，(24),(25)可以改写为：

$\widetilde{f}_t = \overrightarrow{cumsum}(1_{d_f}),\ \widetilde{i}_t = \overleftarrow{cumsum}(1_{d_i})$ (26)

$w_t = \widetilde{f}_t \odot \widetilde{i}_t$ （表示交集） (27)

$c_t = w_t \odot(f_t \odot c_{t-1} + i_t \odot \widehat{c}_t) + (\widetilde{f}_t - w_t) \odot c_{t-1} + (\widetilde{i}_t-w_t) \odot \widehat{c}_t$ (28)

其中：

$\overrightarrow{cumsum}([x_1, ...,x_n]) = [x_1, x_1+x_2, ..., x_1+x_2+...+x_n]$ (29)

$\overleftarrow{cumsum}([x_1, ...,x_n]) = [x_1+x_2+...+x_n, ...,x_1+x_2, x_1]$ (30)

$w_t \odot(f_t \odot c_{t-1} + i_t \odot \widehat{c}_t)$ 表示交集部分， $(\widetilde{f}_t - w_t) \odot c_{t-1}$ 表示大于的部分， $(\widetilde{i}_t-w_t) \odot \widehat{c}_t$ 表示小于的部分。

注意，这里指的是(28)所给出的结果，跟(24),(25)分情况给出的结果，是完全等价的。这只需要留意到 $\widetilde{f}_t$ 给出了一个从位开始后面全是1、其他位全是0的 $d_{max}$ 维向量，而 $\widetilde{i}_t$ 给出了一个从0到位全是1、其他位全是0的 $d_{max}$ 维向量，那么 $w_t = \widetilde{f}_t \odot \widetilde{i}_t$ 正好给出了交集部分为1、其余全是0的向量（如果没有交集，那就是全0向量），所以 $w_t \odot(f_t \odot c_{t-1} + i_t \odot \widehat{c}_t)$ 这部分就是在处理交集部分；而 $\widetilde{f}_t - w_t$ 得到一个从位开始后面全是1、其他位全是0的 $d_{max}$ 维向量，正好标记了历史信息的范围 $[d_f, d_{max}]$ 去掉了交集之后的部分；而 $\widetilde{i}_t-w_t$ 得到一个从 $0 \sim min(d_f, d_i)$ 位全是1、其他位全是0的 $d_{max}$ 维向量，正好标记了当前输入的范围去掉了交集之后的部分。

现在，的更新公式由式(28)来描述，两个one hot向量 $1_{d_f}, 1_{d_i}$ 由两个整数，决定，而这两个整数本身是由模型，预测出来的，所以我们可以干脆直接用模型预测 $1_{d_f}, 1_{d_i}$ 就是了。当然，就算预测出来两个one hot向量，也没有改变整个更新过程不可导的事实。但是，我们可以考虑将 $1_{d_f}, 1_{d_i}$ 用一般的浮点数向量来代替，比如：

$1_{d_f}\approx softmax(W_{\widetilde{f}}x_t + U_{\widetilde{f}}h_{t-1}+b_{\widetilde{f}})$ (31)

$1_{d_i}\approx softmax(W_{\widetilde{i}}x_t + U_{\widetilde{i}}h_{t-1}+b_{\widetilde{i}})$ (32)

这样一来，我们用一个 $h_{t-1}$ 和的全连接层，来预测两个向量并且做softmax，就可以作为 $1_{d_f}, 1_{d_i}$ 的近似，并且它是完全可导的，从而我们将它们取代 $1_{d_f}, 1_{d_i}$ 代入到(28)中，就得到ON-LSTM中主门公式：

$\widetilde{f}_t = \overrightarrow{cumsum}(softmax(W_{\widetilde{f}}x_t + U_{\widetilde{f}}h_{t-1} + b_{\widetilde{f}}))$ (33)

$\widetilde{i}_t = \overleftarrow{cumsum}(softmax(W_{\widetilde{i}}x_t + U_{\widetilde{i}}h_{t-1} + b_{\widetilde{i}}))$ (34)

的更新公式由式(28)来描述。将式(16)(17)(18)(19)(33)(34)(27)(28)(21)组合起来就是ON-LSTM的整个更新公式。示意图如下：

论文：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks_第5张图片

ON-LSTM运算流程示意图。主要是将分段函数用cumax光滑化变成可导。

5 实现

作者实现：https://github.com/yikangshen/Ordered-Neurons

Reference：

https://arxiv.org/abs/1810.09536?context=cs

https://spaces.ac.cn/archives/6621

你可能感兴趣的:(NLP,深度学习)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！小猪包333 写论文人工智能 AI写作深度学习计算机视觉
在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
[实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用 pytorch 深度学习人工智能机器学习 python 优化器
文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
轻量级模型解读——轻量transformer系列 lishanlu136 #图像分类轻量级模型 transformer 图像分类
先占坑，持续更新。。。文章目录1、DeiT2、ConViT3、Mobile-Former4、MobileViTTransformer是2017谷歌提出的一篇论文，最早应用于NLP领域的机器翻译工作，Transformer解读，但随着2020年DETR和ViT的出现(DETR解读，ViT解读)，其在视觉领域的应用也如雨后春笋般渐渐出现，其特有的全局注意力机制给图像识别领域带来了重要参考。但是tran
吴恩达深度学习笔记(30)-正则化的解释极客Array
正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
个人学习笔记7-6：动手学深度学习pytorch版-李沐浪子L 深度学习深度学习笔记计算机视觉 python 人工智能神经网络 pytorch
#人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
FlagEmbedding 吉小雨 python库 python
FlagEmbedding教程FlagEmbedding是一个用于生成文本嵌入（textembeddings）的库，适合处理自然语言处理（NLP）中的各种任务。嵌入（embeddings）是将文本表示为连续向量，能够捕捉语义上的相似性，常用于文本分类、聚类、信息检索等场景。官方文档链接：FlagEmbedding官方GitHub一、FlagEmbedding库概述1.1什么是FlagEmbeddi
深度学习-点击率预估-研究论文2024-09-14速读 sp_fyf_2024 深度学习人工智能
深度学习-点击率预估-研究论文2024-09-14速读1.DeepTargetSessionInterestNetworkforClick-ThroughRatePredictionHZhong,JMa,XDuan,SGu,JYao-2024InternationalJointConferenceonNeuralNetworks,2024深度目标会话兴趣网络用于点击率预测摘要：这篇文章提出了一种新
【NumPy】深入解析numpy.zeros()函数二七830 numpy
欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
损失函数与反向传播 Star_. PyTorch pytorch 深度学习 python
损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。1.损失函数越小越好2.计算实际输出与目标之间的差距3.为更新输出提供依据（反向传播)常见的损失函数回归常见的损失函数有：均方差（MeanSquaredError，MSE）、平均绝对误差（MeanAbsoluteErrorLoss，MAE）、HuberLoss是一种将MSE与MAE
【深度学习】训练过程中一个OOM的问题，太难查了 weixin_40293999 深度学习深度学习人工智能
现象：各位大佬又遇到过ubuntu的这个问题么？现象是在训练过程中，ssh上不去了，能ping通，没死机，但是ubunutu的pc侧的显示器，鼠标啥都不好用了。只能重启。问题原因：OOM了95G，尼玛！！！！pytorch爆内存了，然后journald假死了，在journald被watchdog干掉之后，系统就崩溃了。这种规模的爆内存一般，即使被oomkill了，也要卡半天的，确实会这样，能不能配
CV、NLP、数据控掘推荐、量化海的那边- AI算法自然语言处理人工智能
下面是对CV（计算机视觉）、NLP（自然语言处理）、数据挖掘推荐和量化的简要概述及其应用领域的介绍：1.CV（计算机视觉，ComputerVision）定义：计算机视觉是一门让计算机能够从图像或视频中提取有用信息，并做出决策的学科。它通过模拟人类的视觉系统来识别、处理和理解视觉信息。主要任务：图像分类：识别图像中的物体并分类，比如猫、狗、车等。目标检测：在图像或视频中定位并识别多个对象，如人脸检测
深度解析：如何使用输出解析器将大型语言模型（LLM）的响应解析为结构化JSON格式 m0_57781768 语言模型 json 人工智能
深度解析：如何使用输出解析器将大型语言模型（LLM）的响应解析为结构化JSON格式在现代自然语言处理（NLP）的应用中，大型语言模型（LLM）已经成为了重要的工具。这些模型能够生成丰富的自然语言文本，适用于各种应用场景。然而，在某些应用中，开发者不仅仅需要生成文本，还需要将这些生成的文本转换为结构化的数据格式，例如JSON。这种结构化的数据格式在数据传输、存储以及进一步处理时具有显著优势。本文将深
使用LangChain和OpenAI实现高效文本标注 aehrutktrjk langchain python
使用LangChain和OpenAI实现高效文本标注引言在自然语言处理(NLP)领域，文本标注是一项重要且常见的任务。它涉及为文本分配标签，如情感、语言、风格等。本文将介绍如何使用LangChain和OpenAI的API来实现高效的文本标注系统。我们将探讨如何设置环境、定义标注模式，以及如何使用OpenAI的模型来执行标注任务。环境准备首先，我们需要安装必要的库并设置API密钥：%pipinsta
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
深度学习-13-小语言模型之SmolLM的使用皮皮冰燃深度学习深度学习
文章附录1SmolLM概述1.1SmolLM简介1.2下载模型2运行2.1在CPU/GPU/多GPU上运行模型2.2使用torch.bfloat162.3通过位和字节的量化版本3应用示例4问题及解决4.1attention_mask和pad_token_id报错4.2max_new_tokens=205参考附录1SmolLM概述1.1SmolLM简介SmolLM是一系列尖端小型语言模型，提供三种规
【NLP5-RNN模型、LSTM模型和GRU模型】一蓑烟雨紫洛 nlp rnn lstm gru nlp
RNN模型、LSTM模型和GRU模型1、什么是RNN模型RNN（RecurrentNeuralNetwork)中文称为循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出RNN的循环机制使模型隐层上一时间步产生的结果，能够作为当下时间步输入的一部分（当下时间步的输入除了正常的输入外还包括上一步的隐层输出）对当下时间步的输出产生影响2、R
基于深度学习的农作物病害检测 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的农作物病害检测利用卷积神经网络（CNN）、生成对抗网络（GAN）、Transformer等深度学习技术，自动识别和分类农作物的病害，帮助农业工作者提高作物管理效率、减少损失。1.农作物病害检测的挑战病害种类繁多：农作物病害的类型多样，不同病害在同一作物上的表现差异很大，同时同一种病害在不同生长阶段的症状也可能不同。环境影响：天气、光照、湿度等外部环境因素会影响农作物的表现，使得病害检
基于深度学习的文本引导的图像编辑 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的文本引导的图像编辑（Text-GuidedImageEditing）是一种通过自然语言文本指令对图像进行编辑或修改的技术。它结合了图像生成和自然语言处理（NLP）的最新进展，使用户能够通过描述性文本对图像内容进行精确的调整和操控。1.文本引导的图像编辑的挑战文本和图像之间的对齐：如何将文本中的语义信息准确地映射到图像中的特定区域或元素是一个关键挑战。这涉及到多模态数据的对齐和理解。编
深度学习--对抗生成网络（GAN, Generative Adversarial Network） Ambition_LAO 深度学习生成对抗网络
对抗生成网络（GAN,GenerativeAdversarialNetwork）是一种深度学习模型，由IanGoodfellow等人在2014年提出。GAN主要用于生成数据，通过两个神经网络相互对抗，来生成以假乱真的新数据。以下是对GAN的详细阐述，包括其概念、作用、核心要点、实现过程、代码实现和适用场景。1.概念GAN由两个神经网络组成：生成器（Generator）和判别器（Discrimina
深度学习：怎么看pth文件的参数奥利给少年深度学习人工智能
.pth文件是PyTorch模型的权重文件，它通常包含了训练好的模型的参数。要查看或使用这个文件，你可以按照以下步骤操作：1.确保你有模型的定义你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。2.加载模型权重使用PyTorch的load_state_dict方法来加载权重。这里是如何操作的：importtorchimporttorch.nnasnn#定义模型结构
chatgpt赋能python：如何在Python中安装Keras库？ turensu ChatGpt python chatgpt keras 计算机
如何在Python中安装Keras库？Keras是一个简单易用的神经网络库，由FrançoisChollet编写。它在Python编程语言中实现了深度学习的功能，可以使您更轻松地构建和试验不同类型的神经网络。如果您是一名Python开发人员，肯定会想知道如何在您的Python项目中安装Keras库。在本文中，我们将向您展示如何安装和配置Keras库。步骤1：安装Python要使用Keras库，您需
基本数据类型和引用类型的初始值 3213213333332132 java基础
package com.array; /** * @Description 测试初始值 * @author FuJianyong * 2015-1-22上午10:31:53 */ public class ArrayTest { ArrayTest at; String str; byte bt; short s; int i; long
摘抄笔记--《编写高质量代码：改善Java程序的151个建议》白糖_ 高质量代码
记得3年前刚到公司，同桌同事见我无事可做就借我看《编写高质量代码：改善Java程序的151个建议》这本书，当时看了几页没上心就没研究了。到上个月在公司偶然看到，于是乎又找来看看，我的天，真是非常多的干货，对于我这种静不下心的人真是帮助莫大呀。看完整本书，也记了不少笔记
【备忘】Django 常用命令及最佳实践 dongwei_6688 django
注意：本文基于 Django 1.8.2 版本生成数据库迁移脚本（python 脚本） python manage.py makemigrations polls 说明：polls 是你的应用名字，运行该命令时需要根据你的应用名字进行调整查看该次迁移需要执行的 SQL 语句（只查看语句，并不应用到数据库上）： python manage.p
阶乘算法之一N! 末尾有多少个零周凡杨 java 算法阶乘面试效率
&n
spring注入servlet g21121 Spring注入
传统的配置方法是无法将bean或属性直接注入到servlet中的，配置代理servlet亦比较麻烦，这里其实有比较简单的方法，其实就是在servlet的init()方法中加入要注入的内容： ServletContext application = getServletContext(); WebApplicationContext wac = WebApplicationContextUtil
Jenkins 命令行操作说明文档 510888780 centos
假设Jenkins的URL为http://22.11.140.38:9080/jenkins/ 基本的格式为 java 基本的格式为 java -jar jenkins-cli.jar [-s JENKINS_URL] command [options][args] 下面具体介绍各个命令的作用及基本使用方法 1. &nb
UnicodeBlock检测中文用法布衣凌宇 UnicodeBlock
/** * 判断输入的是汉字 */ public static boolean isChinese(char c) { Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
java下实现调用oracle的存储过程和函数 aijuans java orale
1.创建表：STOCK_PRICES 2.插入测试数据： 3.建立一个返回游标： PKG_PUB_UTILS 4.创建和存储过程：P_GET_PRICE 5.创建函数： 6.JAVA调用存储过程返回结果集 JDBCoracle10G_INVO
Velocity Toolbox antlove 模板 tool box velocity
velocity.VelocityUtil package velocity; import org.apache.velocity.Template; import org.apache.velocity.app.Velocity; import org.apache.velocity.app.VelocityEngine; import org.apache.velocity.c
JAVA正则表达式匹配基础百合不是茶 java 正则表达式的匹配
正则表达式;提高程序的性能,简化代码,提高代码的可读性,简化对字符串的操作正则表达式的用途; 字符串的匹配字符串的分割字符串的查找字符串的替换正则表达式的验证语法 [a] //[]表示这个字符只出现一次 ,[a] 表示a只出现一
是否使用EL表达式的配置 bijian1013 jsp web.xml EL EasyTemplate
今天在开发过程中发现一个细节问题，由于前端采用EasyTemplate模板方法实现数据展示，但老是不能正常显示出来。后来发现竟是EL将我的EasyTemplate的${...}解释执行了，导致我的模板不能正常展示后台数据。网
精通Oracle10编程SQL(1-3)PLSQL基础 bijian1013 oracle 数据库 plsql
--只包含执行部分的PL/SQL块 --set serveroutput off begin dbms_output.put_line('Hello,everyone!'); end; select * from emp; --包含定义部分和执行部分的PL/SQL块 declare v_ename varchar2(5); begin select
【Nginx三】Nginx作为反向代理服务器 bit1129 nginx
Nginx一个常用的功能是作为代理服务器。代理服务器通常完成如下的功能：接受客户端请求将请求转发给被代理的服务器从被代理的服务器获得响应结果把响应结果返回给客户端实例本文把Nginx配置成一个简单的代理服务器对于静态的html和图片，直接从Nginx获取对于动态的页面，例如JSP或者Servlet，Nginx则将请求转发给Res
Plugin execution not covered by lifecycle configuration: org.apache.maven.plugin blackproof maven 报错
转：http://stackoverflow.com/questions/6352208/how-to-solve-plugin-execution-not-covered-by-lifecycle-configuration-for-sprin maven报错： Plugin execution not covered by lifecycle configuration:
发布docker程序到marathon ronin47 docker 发布应用
1 发布docker程序到marathon 1.1 搭建私有docker registry 1.1.1 安装docker regisry docker pull docker-registry docker run -t -p 5000:5000 docker-registry 下载docker镜像并发布到私有registry docker pull consol/tomcat-8.0
java-57-用两个栈实现队列&&用两个队列实现一个栈 bylijinnan java
import java.util.ArrayList; import java.util.List; import java.util.Stack; /* * Q 57 用两个栈实现队列 */ public class QueueImplementByTwoStacks { private Stack<Integer> stack1; pr
Nginx配置性能优化 cfyme nginx
转载地址：http://blog.csdn.net/xifeijian/article/details/20956605 大多数的Nginx安装指南告诉你如下基础知识——通过apt-get安装，修改这里或那里的几行配置，好了，你已经有了一个Web服务器了。而且，在大多数情况下，一个常规安装的nginx对你的网站来说已经能很好地工作了。然而，如果你真的想挤压出Nginx的性能，你必
[JAVA图形图像]JAVA体系需要稳扎稳打,逐步推进图像图形处理技术 comsci java
对图形图像进行精确处理，需要大量的数学工具，即使是从底层硬件模拟层开始设计，也离不开大量的数学工具包，因为我认为，JAVA语言体系在图形图像处理模块上面的研发工作，需要从开发一些基础的，类似实时数学函数构造器和解析器的软件包入手，而不是急于利用第三方代码工具来实现一个不严格的图形图像处理软件...... &nb
MonkeyRunner的使用 dai_lm android MonkeyRunner
要使用MonkeyRunner，就要学习使用Python，哎先抄一段官方doc里的代码作用是启动一个程序（应该是启动程序默认的Activity），然后按MENU键，并截屏 # Imports the monkeyrunner modules used by this program from com.android.monkeyrunner import MonkeyRun
Hadoop-- 海量文件的分布式计算处理方案 datamachine mapreduce hadoop 分布式计算
csdn的一个关于hadoop的分布式处理方案，存档。原帖：http://blog.csdn.net/calvinxiu/article/details/1506112。 Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同ja
以資料庫驗證登入 dcj3sjt126com yii
以資料庫驗證登入由於 Yii 內定的原始框架程式, 採用綁定在UserIdentity.php 的 demo 與 admin 帳號密碼: public function authenticate() { $users=array( &nbs
github做webhooks：[2]php版本自动触发更新 dcj3sjt126com github git webhooks
上次已经说过了如何在github控制面板做查看url的返回信息了。这次就到了直接贴钩子代码的时候了。工具/原料 git github 方法/步骤在github的setting里面的webhooks里把我们的url地址填进去。钩子更新的代码如下： error_reportin
Eos开发常用表达式蕃薯耀 Eos开发 Eos入门 Eos开发常用表达式
Eos开发常用表达式 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2014年8月18日 15:03:35 星期一 &
SpringSecurity3.X--SpEL 表达式 hanqunfeng SpringSecurity
使用 Spring 表达式语言配置访问控制，要实现这一功能的直接方式是在<http>配置元素上添加 use-expressions 属性： <http auto-config="true" use-expressions="true"> 这样就会在投票器中自动增加一个投票器：org.springframework
Redis vs Memcache IXHONG redis
1. Redis中，并不是所有的数据都一直存储在内存中的，这是和Memcached相比一个最大的区别。 2. Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 3. Redis支持数据的备份，即master-slave模式的数据备份。 4. Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 Red
Python - 装饰器使用过程中的误区解读 kvhur JavaScript jquery html5 css
大家都知道装饰器是一个很著名的设计模式，经常被用于AOP(面向切面编程)的场景，较为经典的有插入日志，性能测试，事务处理，Web权限校验， Cache等。原文链接：http://www.gbtags.com/gb/share/5563.htm Python语言本身提供了装饰器语法（@），典型的装饰器实现如下： @function_wrapper de
架构师之mybatis-----update 带case when 针对多种情况更新 nannan408 case when
1.前言. 如题. 2. 代码. <update id="batchUpdate" parameterType="java.util.List"> <foreach collection="list" item="list" index=&
Algorithm算法视频教程栏目记者 Algorithm 算法
课程：Algorithm算法视频教程百度网盘下载地址： http://pan.baidu.com/s/1qWFjjQW 密码: 2mji 程序写的好不好,还得看算法屌不屌！Algorithm算法博大精深。一、课程内容：课时1、算法的基本概念 + Sequential search 课时2、Binary search 课时3、Hash table 课时4、Algor
C语言算法之冒泡排序 qiufeihu c 算法
任意输入10个数字由小到大进行排序。代码： #include <stdio.h> int main() { int i,j,t,a[11]; /*定义变量及数组为基本类型*/ for(i = 1;i < 11;i++){ scanf("%d",&a[i]); /*从键盘中输入10个数*/ } for
JSP异常处理 wyzuomumu Web jsp
1.在可能发生异常的网页中通过指令将HTTP请求转发给另一个专门处理异常的网页中: <%@ page errorPage="errors.jsp"%> 2.在处理异常的网页中做如下声明： errors.jsp: <%@ page isErrorPage="true"%>，这样设置完后就可以在网页中直接访问exc