一杯敬朝阳一杯敬月光

DiSAN: Directional Self-Attention Network forRNN/CNN-Free Language Understanding 笔记

Abstract

Introduction

Background

2.1 Sentence Encoding

2.2 Attention

2.3 Self-Attention

3 Two Proposed Attention Mechanisms

3.1 Multi-dimensional Attention

3.2 Two types of Multi-dimensional Self-attention

3.3 Directional Self-Attention

4 Directional Self-Attention Network

论文地址：https://arxiv.org/abs/1709.04696

github大神开源地址：GitHub - taoshen58/DiSAN: Code of Directional Self-Attention Network (DiSAN)

Abstract

RNN 和 CNN 被广泛应用于NLP任务中，分别用于捕获长期依赖和局部依赖。注意机制由于其高度并行的计算、显著减少的训练时间和建模依赖的灵活性，最近引起了人们极大的兴趣。文中提出了一种新的注意机制（Directional Self-Attention Network (DiSAN)），其中来自输入序列的元素之间的注意是方向性的和多维的（即特征方面的）（the attention between elements from input sequence(s) is directional and multi-dimensional (i.e., feature-wise)）。DiSAN学习句子embedding，网络仅基于该注意力机制，没有任何RNN/CNN结构。DiSAN仅由时间顺序编码的定向自我注意，然后是将序列压缩为向量表示的多维注意组成（DiSAN is only composed of a directional self-attention with temporal order encoded, followed by a multi-dimensional attention that compresses the sequence into a vector representation.）。尽管形式简单，但DiSAN在预测质量和时间效率方面都优于复杂的RNN模型。它在所有句子编码方法中取得了最佳的测试精度，在Stanford Natural Language Inference（SNLI）数据集上将最近的最佳结果提高了1.02%，并在Stanford Sentiment Treebank（SST）、Multi-Genre natural language inference（MultiNLI）、Sentences Involving Compositional Knowledge （SICK）、客户评论、MPQA、，TREC问题类型分类和Subjectivity（SUBJ）数据集。

Introduction

上下文依赖在语言理解中起着重要作用，为自然语言处理任务提供了重要信息。对于不同的任务和数据，研究人员经常在两种类型的深层神经网络（DNN）之间切换：具有序列结构的递归神经网络（RNN），捕捉长期依赖性（例如，LSTM、GRU），以及卷积神经网络（CNN）其层次结构善于提取局部或位置不变特征。然而，在实践中选择哪种网络是一个开放性的问题，而选择在很大程度上依赖于经验知识。

最近的研究发现，为RNN或CNN配备注意机制可以在大量NLP任务上实现最先进的性能，包括neural machine translation (Bahdanau, Cho, and Bengio 2015; Luong, Pham, and Manning 2015), natural language inference (Liu et al. 2016), conversation generation (Shang, Lu, and Li 2015), question answering (Hermann et al. 2015; Sukhbaatar et al. 2015), machine reading comprehension (Seo et al. 2017), and sentiment analysis (Kokkinos and Potamianos 2017).。attention通过一个隐层计算输入序列中每个元素的分类分布来反映他们的重要性（The attention uses a hidden layer to compute a categorical distribution over elements from the input sequence to reflect their importance weights）。让RNN、CNN达到可变长度的记忆，这样可以通过重要性/相关性选择输入序列中的元素，合并到输出中。与RNN和CNN不同的是，注意力机制被训练来捕获对任务有重要贡献的依赖性，无论序列中元素之间的距离如何。因此，它可以为RNN/CNN建模的距离感知依赖提供补充信息。此外，计算注意力只需要矩阵乘法，与RNN的顺序计算相比，矩阵乘法具有高度的并行性。

与RNN/CNN相比，注意机制在序列长度上具有更大的灵活性，并且在建模依赖关系时更为任务/数据驱动。与顺序模型不同，它的计算可以通过现有的分布式/并行计算方案轻松而显著地加速。然而，据我们所知，除了NMT之外，还没有为其他NLP任务设计完全基于注意力的神经网络，尤其是那些不能转换成seq2seq问题的任务。与RNN相比，大多数注意机制的缺点是丢失了时间顺序信息，但这可能对任务很重要。这解释了为什么在Transformer中的注意力处理之前，位置编码会应用于序列。如何在注意中建模顺序信息仍然是一个开放性的问题。

本文的目标是开发一个统一的、不使用RNN/CNN的attention网络，该网络可用于为不同NLP任务的句子编码并应用于natural language inference, sentiment analysis, sentence classification and semantic relatedness等不同NLP任务。我们关注sentence encoding模型，因为它是NLP文献中使用的大多数DNN的基本模块。

我们提出了一种新的注意机制，不同于以往的注意机制。1）多维的：来自源的每对元素是一个向量，其中每个条目是对每个特征计算的注意；2）方向性：它使用一个或多个位置masks来建模两个元素之间的不对称注意。我们计算特征方面的attention，因为序列中的每个元素通常由一个向量表示，例如word/character embedding（Kim et al.2016），不同特征上的atention可以包含不同的依赖性信息，从而处理同一单词周围上下文的变化。我们将位置掩码应用于注意分布，因为它们可以很容易地编码先验结构知识，如时序和依赖解析。这种设计缓解了在建模序信息时注意力机制不足的缺点，并充分利用了并行计算。

在DiSAN中，输入序列由 directional（向前和向后）self-attentions模块处理，以建立上下文依赖关系模型，并为所有tokens生成上下文感知表示。然后，多维注意力计算整个序列的向量表示，该向量表示可以传递到分类/回归模块，以计算特定任务的最终预测。与Transformer不同，不需要堆叠注意块，也不需要编码器-解码器结构。DiSAN结构简单，参数少，计算量少，易于并行化。

In experiments1, we compare DiSAN with the currently popular methods on various NLP tasks, e.g., natural language inference, sentiment analysis, sentence classification, etc. DiSAN achieves the highest test accuracy on the Stanford Natural Language Inference (SNLI) dataset among sentence-encoding models and improves the currently best result by 1.02%. It also shows the state-of-the-art performance on the Stanford Sentiment Treebank (SST), MultiGenre natural language inference (MultiNLI), SICK, Customer Review, MPQA, SUBJ and TREC question-type classification datasets. 同时，它表现优于诸如LSTM和基于树等的模型（如）相比，且它的参数更少，计算效率更高。

Background

2.1 Sentence Encoding

在NLP任务管道中，一个句子由一系列离散标记（例如单词或字符）表示： $\textbf{\textit{v}}=[v_{1}, v_{2}, \cdots, v_{n}]$ ， $v_{i}$ 可以是one-hot向量，其维度是distinct tokens的个数N。用预训练的token embedding（例如 word2vec、GloVe）将 $\textbf{\textit{v}}$ 由离散的tokens预处理成低维稠密的向量表示： $\textbf{\textit{x}}=[x_{1}, x_{2}, \cdots, x_{n}]$ ，其中 $x_{i} \in \mathbb{R}^{d_{e}}$ ，这一过程可以看成: $\textbf{\textit{x}} = \textbf{\textit{W}} ^{(e)} \textbf{\textit{v}}$ ，其中 $\textbf{\textit{W}} ^{(e)} \in \mathbb{R} ^{d_{e} \times N}, \textbf{\textit{x}} \in \mathbb{R} ^{d_{e} \times n}$ 。

大多数用于NLP任务的DNN句子编码模型都以 $\textbf{\textit{x}}$ 为输入，并通过上下文融合为每个 $x_{i}$ 生成向量表示 $u_{i}$ 。然后序列 $\textbf{\textit{u}}=[u_{1}, u_{2}, \cdots, u_{n}]$ 映射成单一向量 $s \in \mathbb{R}^{d}$ ，该向量即是句子向量，在NLP任务中被用作整个句子的compact embedding。

2.2 Attention

注意力机制用于计算两个源中元素的对齐分数。特别的，给定源序列的token embeddings $\textbf{\textit{x}}=[x_{1}, x_{2}, \cdots, x_{n}]$ 以及 query 的向量表示q。注意力机制通过函数 $f(x_{i}, q)$ 来计算 $x_{i}$ 和的分数。对这n个得分使用softmax函数，将其转换成概率分布 $p(z|\textbf{\textit{x}},q)$ ，这里的可以用来表示 $\textbf{\textit{x}}$ 的各token在该任务下对q的贡献度。大的 $p(z=i|\textbf{\textit{x}},q)$ 表示 $x_{i}$ 对更重要。上述过程用公式表示为：

$\begin{matrix} a &= [f(x_{i}, q)]_{i=1}^{n}& \ \ \ \ (1) \\ p(z|\textbf{\textit{x}},q) &= softmax(a) & \ \ \ \ (2) \end{matrix}$

写成一个公式：

$p(z|\textbf{\textit{x}},q) =\frac{exp(f(x_{i}, q))}{\sum_{i=1}^{n}exp(f(x_{i}, q))} \ \ \ \ \ (3)$

该注意力机制的输出是 $\textbf{\textit{x}}$ 中所有tokens 的 embeddings的加权和，权重由 $p(z|\textbf{\textit{x}},q)$ 给出。在对q重要的token上给出大的权重。并且可以理解为根据token重要性采样的期望：

$s = \sum_{i=1}^{n}p(z|\textbf{\textit{x}},q)x_{i}=\mathbb{E}_{i \sim p(z|\textbf{\textit{x}},q)}(x_{i}) \ \ \ \ \ \ (4)$

其中 $s \in \mathbb{R}^{d_{e}}$ 可以看成 $\textbf{\textit{x}}$ 的句子编码。

Additive attention (or multi-layer perceptron attention) and multiplicative attention是两种最常用的注意机制。其区别在函数 $f(x_{i}, q)$ 上。

加法注意力机制Additive attention：

$f(x_{i}, q) = \textit{w}^T \sigma (\textbf{\textit{W}}^{(1)}x_{i} + \textbf{\textit{W}}^{(2)}q) \ \ \ \ \ \ \ (5)$

其中 $\sigma(\cdot )$ 是激活函数， $w \in \mathbb{R}^{d_{e}}$ 。

乘法注意使用内积或余弦相似性作为函数 $f(x_{i}, q)$

$f(x_{i}, q) = <\textbf{\textit{W}}^{(1)}x_{i} , \textbf{\textit{W}}^{(2)}q)> \ \ \ \ \ \ (6)$

在实际应用中，加法注意力机制在预测质量上往往优于乘法注意力机制，但后者由于优化了矩阵乘法，速度更快，存储效率更高。

2.3 Self-Attention

self-attention是上述注意机制的一个特例。它用从源输入token 的embedding $x_{j}$ 的替换q。它通过计算每对token $x_{i}$ 和 $x_{j}$ 之间的attention，将单个序列中不同位置的元素关联起来。对于长期依赖和局部依赖，它都非常有表现力和灵活性，过去分别由RNN和CNN建模这些依赖。此外，它比RNN具有更快的计算速度和更少的参数。在最近的工作中，我们已经见证了其在各种NLP任务中的成功，如reading comprehension 和 neural machine translation。

3 Two Proposed Attention Mechanisms

在本节中，我们介绍两种新的注意机制，第3.1节中的多维注意力机制multi-dimensional attention（第3.2节中有两种self-attention的扩展）和第3.3节中的directional self-attention。它们是DiSAN的主要组成部分。

3.1 Multi-dimensional Attention

Multi-dimensional attention是对加法注意力机制（或MLP attention）的一种自然而然的延伸。将公式5中为每一个token计算一个标量分数替换成了计算向量分数，将5中的向量替换成矩阵 $\textbf{\textit{W}}$ 就ok啦。

$f(x_{i}, q) =\textbf{\textit{W}}^T \sigma (\textbf{\textit{W}}^{(1)}x_{i} + \textbf{\textit{W}}^{(2)}q ) \ \ \ \ \ \ \ (7)$

其中， $f(x_{i}, q) \in \mathbb{R}^{d_{e}}$ 是与 $x_{i}$ 维度相同的向量，所有矩阵的维度均一致 $\textbf{\textit{W}},\textbf{\textit{W}}^{(1)}, \textbf{\textit{W}}^{(2)} \in \mathbb{R}^{d_{e} \times d_{e}}$ 。 $\sigma(\cdot )$ 是激活函数。然后我们再加上偏置：

$f(x_{i}, q) =\textbf{\textit{W}}^T \sigma (\textbf{\textit{W}}^{(1)}x_{i} + \textbf{\textit{W}}^{(2)}q + b^{(1)}) + b \ \ \ \ \ \ \ (8)$

对这n个tokens的每个维度 $k \in [d_{e}]$ 计算一个分布分布 $p(z_{k}=i|\textbf{\textit{x}},q)$ ，大的 $p(z_{k}=i|\textbf{\textit{x}},q)$ 表示token i 的第k个维度对更重要。

对 $f(x_{i}, q)$ 的 $k^{th}$ 维使用公式（1）-（3），对于每个维度 $k \in [d_{e}]$ ，将 $f(x_{i}, q)$ 替换为 $[f(x_{i}, q)]_{k}$ ，以及将替换为 $z_{k}$ ，对于token i的每个维度k有重要性 $P_{ki} \doteq p(z_{k}=i|\textbf{\textit{x}},q)$ ，则输出s表示如下：

$s = [\sum_{i=1}^{n}P_{ki}\textit{\textbf{x}}_{ki}]_{k=1}^{d_{e}}=[\mathbb{E}_{i \sim p(z_{k}|\textbf{\textit{x}},q)}(\textit{\textbf{x}}_{ki})]_{k=1}^{d_{e}} \ \ \ \ \ \ (9)$

我们在图1中举例说明了traditional attention和 Multi-dimensional attention。在其余部分中，如果不存在混淆，将忽略索引特征维度的下标k，以进行简化。因此，输出s可以写为element-wise product: $s = \sum_{i=1}^{n} P_{\cdot i} \odot \textbf{\textit{x}}_{i}$

注：word embedding在自然语言中通常存在多义现象。由于传统的注意力机制基于单词嵌入计算每个单词的单一重要性分数，因此无法区分同一单词在不同上下文中的含义。然而，多维注意力为每个单词的每个特征计算分数，因此它可以选择在任何给定上下文中最能描述单词特定含义的特征，并将此信息包含在句子编码输出中（ Multi-dimensional attention, however, computes a score for each feature of each word, so it can select the features that can best describe the word’s specific meaning in any given context, and include this information in the sentence encoding output s）。

3.2 Two types of Multi-dimensional Self-attention

第一个是 multi-dimensional “token2token” self-attention，探索来自同一源 $\textbf{\textit{x}}$ 的 $x_{i}$ 和 $x_{j}$ 之间的依赖关系，并为每个元素生成上下文感知编码。将公式8中的q替换成 $x_{j}$

$f(x_{i}, x_{j}) =\textbf{\textit{W}}^T \sigma (\textbf{\textit{W}}^{(1)}x_{i} + \textbf{\textit{W}}^{(2)}x_{j} + b^{(1)}) + b \ \ \ \ \ \ \ (10)$

与普通多维注意力机制中的P相似，我们计算了一个概率矩阵 $P^{j} \in \mathbb{R}^{d_{e} \times n}$ ，对于每一个 $x_{j}$ 有 $P_{ki}^{j} \doteq p(z_{k}=i|\textbf{\textit{x}},x_{j})$ ，则对于 $x_{j}$ 的输出

$s = \sum_{i=1}^{n} P_{\cdot i}^{j} \odot \textbf{\textit{x}}_{i} \ \ \ \ \ \ (11)$

$\textbf{\textit{x}}$ 中的所有token的multi-dimensional “token2token” self-attention输出是， $\textbf{\textit{s}} = [s_{1},s_{2}, \cdots, s_{n}] \in \mathbb{R}^{d_{e} \times n}$

第二种是，multi-dimensional “source2token” selfattention，探索 $x_{i}$ 与整个序列 $\textit{\textbf{x}}$ 之间的依赖关系，并将序列 $\textit{\textbf{x}}$ 压缩为向量。将公式8中的q移除：

$f(x_{i}) =\textbf{\textit{W}}^T \sigma (\textbf{\textit{W}}^{(1)}x_{i} + b^{(1)}) + b \ \ \ \ \ \ \ (12)$

概率矩阵 $P_{ki} \doteq p(z_{k}=i|\textbf{\textit{x}})$ ，计算方法与普通多维注意力机制中的P相同，输出表示也一样，

$s = \sum_{i=1}^{n} P_{\cdot i} \odot \textbf{\textit{x}}_{i} \ \ \ \ \ \ \ \ \ (13)$

我们将在句子编码模型DiSAN的不同部分使用这两种类型（即token2token和source2token）的multi-dimensional self-attention。

3.3 Directional Self-Attention

Directional self-attention (DiSA) （DiSA）由一个全连接组成，该层的输入是token的embedding矩阵 $\textit{\textbf{x}}$ ，一个“masked”的multi-dimensional token2token self-attention 块，用于探索依赖性和时序，以及一个融合门，用于组合attention的输出和输入。其结构如图2所示。它既可以用作神经网络，也可以用作组成大型网络的模块。

在DiSA中先将输入序列 $\textbf{\textit{x}}=[x_{1}, x_{2}, \cdots, x_{n}]$ 过全连接层转换成序列 $\textbf{\textit{h}}=[h_{1}, h_{2}, \cdots, h_{n}]$

$\textbf{\textit{h}}= \sigma (\textbf{\textit{W}}^{(h)}\textbf{\textit{x}} + b^{(h)}) \ \ \ \ \ \ \ (14)$

其中 $\textbf{\textit{x}} \in \mathbb{R}^{d_{e} \times n},\textbf{\textit{h}} \in \mathbb{R}^{d_{h} \times n}, \textbf{\textit{W}}^{(h)}, b^{(h)}$ 均是可学习的， $\sigma_{h}(\cdot)$ 是激活函数。

然后，我们将multi-dimensional token2token self-attention应用于 $\textbf{\textit{h}}$ ，并为输入序列中的所有元素生成上下文感知向量表示 $\textbf{\textit{s}}$ 。我们对公式（10）进行了两处改动，以减少参数的数量并使注意力具有方向性。

首先，将公式10的 $\textbf{\textit{W}}$ 矩阵替换成标量，并在激活函数 $\sigma(\cdot)$ 内部除以，激活函数 $\sigma(\cdot)$ 使用双曲正切 $\tanh(\cdot)$ ，以减少参数的数量。在实验中，设置并获得了稳定的输出。

第二，向公式10引入 positional mask，这样，两个元素之间的attention可以是非对称的。给定mask $\textbf{\textit{M}} \in \{0, -\infty \}^{n \times n}$ ，设置b是常量向量 $M_{ij}\textbf{1}$ ， $\textup{\textbf{1}}$ 表示元素全为1的向量。

经两处改动后，公式10变成

$f(h_{i}, h_{j}) =c \cdot \tanh([\textbf{\textit{W}}^{(1)}h_{i} + \textbf{\textit{W}}^{(2)}h_{j} + b^{(1)}] / c)+ M_{ij} \textbf{1} \ \ \ \ \ \ \ (15)$

为什么masked可以编码方向信息，我们考虑 $M_{ij}=-\infty$ 和 $M_{ji}=0$ ，这会使得 $[f(x_{i}, x_{j})]_{k} = -\infty$ ，且不改变 $[f(x_{j}, x_{i})]_{k}$ ，且套上一层softmax得到概率 $p(z_{k}=i|\textbf{\textit{x}},x_{j})$ ， $[f(x_{i}, x_{j})]_{k} = -\infty$ 过softmax会有 $p(z_{k}=i|\textbf{\textit{x}},x_{j})=0$ ，这意味着 $x_{j}$ 和 $x_{i}$ 的第k维没有注意力得分。相反，我们有 $p(z_{k}=j|\textbf{\textit{x}},x_{i})>0$ ，这意味着 $x_{i}$ 和 $x_{j}$ 的第k维存在注意力得分。因此，时间顺序和依赖关系等先验结构知识可以很容易地通过掩码（mask）进行编码，并在生成句子编码时进行探索。这是DiSA的一个重要特征，是以前的注意机制所没有的。

对于self-attention，我们通常需要禁用每个token对自身的注意力得分。可以用下面的掩码矩阵，对角线元素是负无穷，其余均为0，经过softmax，对角线分数为0（即每个token对自身的注意力得分为0），非对角线分数>0。

$\textit{\textbf{M}}_{ij}^{diag}=\left\{\begin{matrix} 0, & i \neq j\\ -\infty , & i = j \end{matrix}\right. \ \ \ \ \ (16)$

此外，我们可以使用掩码将时序信息编码。在本文中，我们使用了两个掩码，前向掩码 $\textit{\textbf{M}}^{fw}$ ，后向掩码 $\textit{\textbf{M}}^{bw}$

$\textit{\textbf{M}}_{ij}^{fw}=\left\{\begin{matrix} 0, & i < j\\ -\infty , & otherwise\end{matrix}\right. \ \ \ \ \ (17)$

$\textit{\textbf{M}}_{ij}^{bw}=\left\{\begin{matrix} 0, & i > j\\ -\infty , & otherwise\end{matrix}\right. \ \ \ \ \ (18)$

在前向掩码 $\textit{\textbf{M}}^{fw}$ 中，后面的token j只关注早期的token i，后向掩码则相反。我们在图3中显示了这三个位置掩码。

给定输入序列 $\textbf{\textit{x}}$ 和掩码 $\textbf{\textit{M}}$ ，就可以按公式15计算啦。按照multi-dimensional “token2token” self-attention为每个 $j \in [n]$ 计算概率 $P^{j}$ ，按照公式11计算 $\textbf{\textit{s}}$ 中的每一个 $s_{j}$ 。

DiSA的最终输出 $\textbf{\textit{u}} \in \mathbb{R}^{d_{h} \times n}$ 是masked multi-dimensional token2token self-attention 网络的输入 $\textbf{\textit{h}}$ 和输出 $\textbf{\textit{s}}$ 的组合。这将为每个元素/标记生成时序编码和上下文感知的向量表示。这种组合是通过一个按元素的融合门来完成的，即：

$\begin{matrix} \textbf{\textit{F}} & = sigmoid(\textbf{\textit{W}}^{(f1)}\textbf{\textit{s}} + \textbf{\textit{W}}^{(f2)}\textbf{\textit{h}} + b^{(f)}) & \ \ \ \ (19)\\ \textbf{\textit{u}} & = \textbf{\textit{F}} \odot \textbf{\textit{h}} + (1 - \textbf{\textit{F}}) \odot \textbf{\textit{s}} & \ \ \ \ (20) \end{matrix}$

其中 $\textbf{\textit{W}}^{(f1)},\textbf{\textit{W}}^{(f2)} \in \mathbb{R}^{d_{h} \times d_{h}}$ ， $b^{(f)} \in \mathbb{R}^{d_{h}}$

4 Directional Self-Attention Network

DiSAN的结构如图4。

给定token embedding的输入序列 $\textbf{\textit{x}}$ ，DiSAN首先应用两个参数联合DiSA块，分别使用前向掩码矩阵 $\textbf{\textit{M}}^{fw}$ 和后向掩码矩阵 $\textbf{\textit{M}}^{bw}$ ，使用到公式14、15、19、20。输出用 $\textbf{\textit{u}}^{fw},\textbf{\textit{u}}^{bw} \in \mathbb{R}^{d_{h} \times n}$ 表示。将他俩拼接成 $[\textbf{\textit{u}}^{fw},\textbf{\textit{u}}^{bw}] \in \mathbb{R}^{2d_{h} \times n}$ ，将拼接后的向量作为multi-dimensional “source2token” selfattention的输入，由公式12和公式13得到最终的句子编码 $\textit{\textbf{s}}^{disan} \in \mathbb{R}^{2d_{h}}$ 。

注：在DiSAN中，前向/后向DiSA块用作上下文融合层。multi-dimensional “source2token” selfattention将序列压缩为一个向量。双向LSTM启发了同时使用前向和后向注意的想法，其中前向和后向LSTM用于编码来自不同方向的长期依赖性。在Bi-LSTM中，LSTM将上下文感知输出与多门输入相结合（combines the context-aware output with the input by multi-gate）。DiSA中使用的融合门具有类似的动机。然而，DiSAN具有参数少、结构简单、效率高等优点。

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
推荐算法_隐语义-梯度下降 _feivirus_ 算法机器学习和数学推荐算法机器学习隐语义
importnumpyasnp1.模型实现"""inputrate_matrix:M行N列的评分矩阵，值为P*Q.P:初始化用户特征矩阵M*K.Q:初始化物品特征矩阵K*N.latent_feature_cnt:隐特征的向量个数max_iteration:最大迭代次数alpha:步长lamda:正则化系数output分解之后的P和Q"""defLFM_grad_desc(rate_matrix,l
自动写论文的网站推荐这5款实用类工具小猪包333 写论文人工智能深度学习计算机视觉 AI写作
在当今学术研究和写作领域，AI论文写作工具的出现极大地提高了写作效率和质量。这些工具不仅能够帮助研究人员快速生成论文草稿，还能进行内容优化、查重和排版等操作。以下是五款实用类工具推荐，特别是千笔-AIPassPaper。1.千笔-AIPassPaper千笔-AIPassPaper是一款功能强大且全面的AI论文写作助手，用户只需输入基本的研究需求和关键词，便能迅速生成一篇完整的论文。该工具利用先进的
推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！小猪包333 写论文人工智能 AI写作深度学习计算机视觉
在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
4款毕业论文参考文献格式生成器（附加详细步骤）小猪包333 写论文人工智能深度学习计算机视觉 AI写作
在撰写毕业论文时，参考文献的格式规范是至关重要的。为了帮助学生和学者们更高效地生成符合要求的参考文献格式，本文将详细介绍四款推荐的参考文献格式生成器，并提供详细的使用步骤。1.千笔-AIPassPaper千笔-AIPassPaper是一款先进的AI辅助论文写作工具，不仅能够自动生成大纲、开题报告，还能一键生成参考文献。AI论文，免费大纲，10分钟3万字https://www.aipaperpass
AI论文写作推荐哪个好？分享5款AI论文写作带数据图表网站小猪包333 写论文人工智能深度学习计算机视觉
在当今学术研究和写作领域，AI论文写作工具的出现极大地提高了写作效率和质量。这些工具不仅能够帮助研究人员快速生成论文草稿，还能进行内容优化、查重和排版等操作。以下是五款推荐的AI论文写作工具，包括千笔-AIPassPaper。千笔-AIPassPaper千笔-AIPassPaper是一款功能强大的AI论文写作助手，旨在帮助用户快速生成高质量的论文内容。AI论文，免费大纲，10分钟3万字https:
AI论文题目生成器怎么用？9款论文写作网站简单3步搞定小猪包333 写论文人工智能深度学习计算机视觉
在当今信息爆炸的时代，AI写作工具的出现极大地提高了写作效率和质量。本文将详细介绍9款优秀的论文写作网站，并重点推荐千笔-AIPassPaper。一、千笔-AIPassPaper千笔-AIPassPaper是一款功能强大的AI论文生成器，基于最新的自然语言处理技术，能够一键生成高质量的毕业论文、开题报告等文本内容。它不仅提供智能选题、文献推荐和论文润色等功能，还具有较高的用户评价。其文献综述生成功
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
毕业论文附录一般都写什么?大学生写论文是干嘛用的写个原创论文人工智能深度学习 AI写作 chatgpt 论文阅读
毕业论文的附录通常包含一些在正文中不便于展示或详细阐述的内容，但对理解论文整体又具有重要意义的资料。具体来说，附录可能包含以下内容：AI论文，免费大纲，10分钟3万字，查重高于15%退费，支持数据图表！！AIPaperPass-AI论文写作指导平台AIPaperPass是AI原创论文写作平台，免费千字大纲，5分钟生成3万字初稿，提供答辩汇报ppt、开题报告、任务书等，40篇真实中英文知网参考文献，
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
[实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用 pytorch 深度学习人工智能机器学习 python 优化器
文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
深度 Qlearning：在直播推荐系统中的应用 AGI通用人工智能之禅程序员提升自我硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
深度Q-learning：在直播推荐系统中的应用关键词：深度Q-learning,强化学习,直播推荐系统,个性化推荐1.背景介绍1.1问题的由来随着互联网技术的飞速发展,直播平台如雨后春笋般涌现。面对海量的直播内容,用户很难快速找到自己感兴趣的内容。因此,个性化推荐系统在直播平台中扮演着越来越重要的角色。1.2研究现状目前,主流的个性化推荐算法包括协同过滤、基于内容的推荐等。这些方法在一定程度上缓
轻量级模型解读——轻量transformer系列 lishanlu136 #图像分类轻量级模型 transformer 图像分类
先占坑，持续更新。。。文章目录1、DeiT2、ConViT3、Mobile-Former4、MobileViTTransformer是2017谷歌提出的一篇论文，最早应用于NLP领域的机器翻译工作，Transformer解读，但随着2020年DETR和ViT的出现(DETR解读，ViT解读)，其在视觉领域的应用也如雨后春笋般渐渐出现，其特有的全局注意力机制给图像识别领域带来了重要参考。但是tran
吴恩达深度学习笔记(30)-正则化的解释极客Array
正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
个人学习笔记7-6：动手学深度学习pytorch版-李沐浪子L 深度学习深度学习笔记计算机视觉 python 人工智能神经网络 pytorch
#人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
深度学习-点击率预估-研究论文2024-09-14速读 sp_fyf_2024 深度学习人工智能
深度学习-点击率预估-研究论文2024-09-14速读1.DeepTargetSessionInterestNetworkforClick-ThroughRatePredictionHZhong,JMa,XDuan,SGu,JYao-2024InternationalJointConferenceonNeuralNetworks,2024深度目标会话兴趣网络用于点击率预测摘要：这篇文章提出了一种新
损失函数与反向传播 Star_. PyTorch pytorch 深度学习 python
损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。1.损失函数越小越好2.计算实际输出与目标之间的差距3.为更新输出提供依据（反向传播)常见的损失函数回归常见的损失函数有：均方差（MeanSquaredError，MSE）、平均绝对误差（MeanAbsoluteErrorLoss，MAE）、HuberLoss是一种将MSE与MAE
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
【深度学习】训练过程中一个OOM的问题，太难查了 weixin_40293999 深度学习深度学习人工智能
现象：各位大佬又遇到过ubuntu的这个问题么？现象是在训练过程中，ssh上不去了，能ping通，没死机，但是ubunutu的pc侧的显示器，鼠标啥都不好用了。只能重启。问题原因：OOM了95G，尼玛！！！！pytorch爆内存了，然后journald假死了，在journald被watchdog干掉之后，系统就崩溃了。这种规模的爆内存一般，即使被oomkill了，也要卡半天的，确实会这样，能不能配
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
深度学习-13-小语言模型之SmolLM的使用皮皮冰燃深度学习深度学习
文章附录1SmolLM概述1.1SmolLM简介1.2下载模型2运行2.1在CPU/GPU/多GPU上运行模型2.2使用torch.bfloat162.3通过位和字节的量化版本3应用示例4问题及解决4.1attention_mask和pad_token_id报错4.2max_new_tokens=205参考附录1SmolLM概述1.1SmolLM简介SmolLM是一系列尖端小型语言模型，提供三种规
基于深度学习的农作物病害检测 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的农作物病害检测利用卷积神经网络（CNN）、生成对抗网络（GAN）、Transformer等深度学习技术，自动识别和分类农作物的病害，帮助农业工作者提高作物管理效率、减少损失。1.农作物病害检测的挑战病害种类繁多：农作物病害的类型多样，不同病害在同一作物上的表现差异很大，同时同一种病害在不同生长阶段的症状也可能不同。环境影响：天气、光照、湿度等外部环境因素会影响农作物的表现，使得病害检
基于深度学习的文本引导的图像编辑 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的文本引导的图像编辑（Text-GuidedImageEditing）是一种通过自然语言文本指令对图像进行编辑或修改的技术。它结合了图像生成和自然语言处理（NLP）的最新进展，使用户能够通过描述性文本对图像内容进行精确的调整和操控。1.文本引导的图像编辑的挑战文本和图像之间的对齐：如何将文本中的语义信息准确地映射到图像中的特定区域或元素是一个关键挑战。这涉及到多模态数据的对齐和理解。编
深度学习--对抗生成网络（GAN, Generative Adversarial Network） Ambition_LAO 深度学习生成对抗网络
对抗生成网络（GAN,GenerativeAdversarialNetwork）是一种深度学习模型，由IanGoodfellow等人在2014年提出。GAN主要用于生成数据，通过两个神经网络相互对抗，来生成以假乱真的新数据。以下是对GAN的详细阐述，包括其概念、作用、核心要点、实现过程、代码实现和适用场景。1.概念GAN由两个神经网络组成：生成器（Generator）和判别器（Discrimina
深度学习：怎么看pth文件的参数奥利给少年深度学习人工智能
.pth文件是PyTorch模型的权重文件，它通常包含了训练好的模型的参数。要查看或使用这个文件，你可以按照以下步骤操作：1.确保你有模型的定义你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。2.加载模型权重使用PyTorch的load_state_dict方法来加载权重。这里是如何操作的：importtorchimporttorch.nnasnn#定义模型结构
jQuery 跨域访问的三种方式 No 'Access-Control-Allow-Origin' header is present on the reque qiaolevip 每天进步一点点学习永无止境跨域众观千象
XMLHttpRequest cannot load http://v.xxx.com. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://localhost:63342' is therefore not allowed access. test.html:1
mysql 分区查询优化 annan211 java 分区优化 mysql
分区查询优化引入分区可以给查询带来一定的优势，但同时也会引入一些bug. 分区最大的优点就是优化器可以根据分区函数来过滤掉一些分区，通过分区过滤可以让查询扫描更少的数据。所以，对于访问分区表来说，很重要的一点是要在where 条件中带入分区，让优化器过滤掉无需访问的分区。可以通过查看explain执行计划，是否携带 partitions
MYSQL存储过程中使用游标 chicony Mysql存储过程
DELIMITER $$ DROP PROCEDURE IF EXISTS getUserInfo $$ CREATE PROCEDURE getUserInfo(in date_day datetime)-- -- 实例-- 存储过程名为：getUserInfo-- 参数为：date_day日期格式:2008-03-08-- BEGINdecla
mysql 和 sqlite 区别 Array_06 sqlite
转载： http://www.cnblogs.com/ygm900/p/3460663.html mysql 和 sqlite 区别 SQLITE是单机数据库。功能简约，小型化，追求最大磁盘效率 MYSQL是完善的服务器数据库。功能全面，综合化，追求最大并发效率 MYSQL、Sybase、Oracle等这些都是试用于服务器数据量大功能多需要安装，例如网站访问量比较大的。而sq
pinyin4j使用 oloz pinyin4j
首先需要pinyin4j的jar包支持；jar包已上传至附件内方法一:把汉字转换为拼音；例如：编程转换后则为biancheng /** * 将汉字转换为全拼 * @param src 你的需要转换的汉字 * @param isUPPERCASE 是否转换为大写的拼音； true:转换为大写；fal
微博发送私信随意而生微博
在前面文章中说了如和获取登陆时候所需要的cookie，现在只要拿到最后登陆所需要的cookie，然后抓包分析一下微博私信发送界面 http://weibo.com/message/history?uid=****&name=**** 可以发现其发送提交的Post请求和其中的数据，让后用程序模拟发送POST请求中的数据，带着cookie发送到私信的接入口，就可以实现发私信的功能了。
jsp 香水浓 jsp
JSP初始化容器载入JSP文件后，它会在为请求提供任何服务前调用jspInit()方法。如果您需要执行自定义的JSP初始化任务，复写jspInit()方法就行了 JSP执行这一阶段描述了JSP生命周期中一切与请求相关的交互行为，直到被销毁。当JSP网页完成初始化后
在 Windows 上安装 SVN Subversion 服务端 AdyZhang SVN
在 Windows 上安装 SVN Subversion 服务端2009-09-16高宏伟哈尔滨市道里区通达街291号最佳阅读效果请访问原地址：http://blog.donews.com/dukejoe/archive/2009/09/16/1560917.aspx 现在的Subversion已经足够稳定，而且已经进入了它的黄金时段。我们看到大量的项目都在使
android开发中如何使用 alertDialog从listView中删除数据？ aijuans android
我现在使用listView展示了很多的配置信息，我现在想在点击其中一条的时候填出 alertDialog,点击确认后就删除该条数据，（ ArrayAdapter ，ArrayList，listView 全部删除），我知道在下面的onItemLongClick 方法中参数 arg2 是选中的序号，但是我不知道如何继续处理下去 1 2 3
jdk-6u26-linux-x64.bin 安装 baalwolf linux
1.上传安装文件(jdk-6u26-linux-x64.bin) 2.修改权限 [root@localhost ~]# ls -l /usr/local/jdk-6u26-linux-x64.bin 3.执行安装文件 [root@localhost ~]# cd /usr/local [root@localhost local]# ./jdk-6u26-linux-x64.bin&nbs
MongoDB经典面试题集锦 BigBird2012 mongodb
1.什么是NoSQL数据库？NoSQL和RDBMS有什么区别？在哪些情况下使用和不使用NoSQL数据库？ NoSQL是非关系型数据库，NoSQL = Not Only SQL。关系型数据库采用的结构化的数据，NoSQL采用的是键值对的方式存储数据。在处理非结构化/半结构化的大数据时；在水平方向上进行扩展时；随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。在考虑数据库的成熟
JavaScript异步编程Promise模式的6个特性 bijian1013 JavaScript Promise
Promise是一个非常有价值的构造器，能够帮助你避免使用镶套匿名方法，而使用更具有可读性的方式组装异步代码。这里我们将介绍6个最简单的特性。在我们开始正式介绍之前，我们想看看Javascript Promise的样子： var p = new Promise(function(r
[Zookeeper学习笔记之八]Zookeeper源代码分析之Zookeeper.ZKWatchManager bit1129 zookeeper
ClientWatchManager接口 //接口的唯一方法materialize用于确定那些Watcher需要被通知 //确定Watcher需要三方面的因素1.事件状态 2.事件类型 3.znode的path public interface ClientWatchManager { /** * Return a set of watchers that should
【Scala十五】Scala核心九：隐式转换之二 bit1129 scala
隐式转换存在的必要性，在Java Swing中，按钮点击事件的处理，转换为Scala的的写法如下： val button = new JButton button.addActionListener( new ActionListener { def actionPerformed(event: ActionEvent) {
Android JSON数据的解析与封装小Demo ronin47
转自：http://www.open-open.com/lib/view/open1420529336406.html package com.example.jsondemo; import org.json.JSONArray; import org.json.JSONException; import org.json.JSONObject; impor
[设计]字体创意设计方法谈 brotherlamp UI ui自学 ui视频 ui教程 ui资料
从古至今，文字在我们的生活中是必不可少的事物，我们不能想象没有文字的世界将会是怎样。在平面设计中，UI设计师在文字上所花的心思和功夫最多，因为文字能直观地表达UI设计师所的意念。在文字上的创造设计，直接反映出平面作品的主题。如设计一幅戴尔笔记本电脑的广告海报，假设海报上没有出现“戴尔”两个文字，即使放上所有戴尔笔记本电脑的图片都不能让人们得知这些电脑是什么品牌。只要写上“戴尔笔
单调队列-用一个长度为k的窗在整数数列上移动，求窗里面所包含的数的最大值 bylijinnan java 算法面试题
import java.util.LinkedList; /* 单调队列滑动窗口单调队列是这样的一个队列：队列里面的元素是有序的，是递增或者递减题目：给定一个长度为N的整数数列a(i),i=0,1,...,N-1和窗长度k. 要求：f(i) = max{a(i-k+1),a(i-k+2),..., a(i)},i = 0,1,...,N-1 问题的另一种描述就
struts2处理一个form多个submit chiangfai struts2
web应用中，为完成不同工作，一个jsp的form标签可能有多个submit。如下代码： <s:form action="submit" method="post" namespace="/my"> <s:textfield name="msg" label="叙述：">
shell查找上个月，陷阱及野路子 chenchao051 shell
date -d "-1 month" +%F 以上这段代码，假如在2012/10/31执行，结果并不会出现你预计的9月份，而是会出现八月份，原因是10月份有31天，9月份30天，所以-1 month在10月份看来要减去31天，所以直接到了8月31日这天，这不靠谱。野路子解决：假设当天日期大于15号
mysql导出数据中文乱码问题 daizj mysql 中文乱码导数据
解决mysql导入导出数据乱码问题方法：１、进入mysql，通过如下命令查看数据库编码方式： mysql> show variables like 'character_set_%'; +--------------------------+----------------------------------------+ | Variable_name&nbs
SAE部署Smarty出现：Uncaught exception 'SmartyException' with message 'unable to write dcj3sjt126com PHP smarty sae
对于SAE出现的问题：Uncaught exception 'SmartyException' with message 'unable to write file...。官方给出了详细的FAQ：http://sae.sina.com.cn/?m=faqs&catId=11#show_213 解决方案为： 01 $path
《教父》系列台词 dcj3sjt126com
Your love is also your weak point. 你的所爱同时也是你的弱点。 If anything in this life is certain, if history has taught us anything, it is that you can kill anyone. 不顾家的人永远不可能成为一个真正的男人。 &
mongodb安装与使用 dyy_gusi mongo
一.MongoDB安装和启动,widndows和linux基本相同 1.下载数据库, linux:mongodb-linux-x86_64-ubuntu1404-3.0.3.tgz 2.解压文件,并且放置到合适的位置 tar -vxf mongodb-linux-x86_64-ubun
Git排除目录 geeksun git
在Git的版本控制中，可能有些文件是不需要加入控制的，那我们在提交代码时就需要忽略这些文件，下面讲讲应该怎么给Git配置一些忽略规则。有三种方法可以忽略掉这些文件，这三种方法都能达到目的，只不过适用情景不一样。 1. 针对单一工程排除文件这种方式会让这个工程的所有修改者在克隆代码的同时，也能克隆到过滤规则，而不用自己再写一份，这就能保证所有修改者应用的都是同一
Ubuntu 创建开机自启动脚本的方法 hongtoushizi ubuntu
转载自： http://rongjih.blog.163.com/blog/static/33574461201111504843245/ Ubuntu 创建开机自启动脚本的步骤如下： 1) 将你的启动脚本复制到 /etc/init.d目录下以下假设你的脚本文件名为 test。 2) 设置脚本文件的权限 $ sudo chmod 755
第八章流量复制/AB测试/协程 jinnianshilongnian nginx lua coroutine
流量复制在实际开发中经常涉及到项目的升级，而该升级不能简单的上线就完事了，需要验证该升级是否兼容老的上线，因此可能需要并行运行两个项目一段时间进行数据比对和校验，待没问题后再进行上线。这其实就需要进行流量复制，把流量复制到其他服务器上，一种方式是使用如tcpcopy引流；另外我们还可以使用nginx的HttpLuaModule模块中的ngx.location.capture_multi进行并发
电商系统商品表设计 lkl
DROP TABLE IF EXISTS `category`; -- 类目表 /*!40101 SET @saved_cs_client = @@character_set_client */; /*!40101 SET character_set_client = utf8 */; CREATE TABLE `category` ( `id` int(11) NOT NUL
修改phpMyAdmin导入SQL文件的大小限制 pda158 sql mysql
　用phpMyAdmin导入mysql数据库时，我的10M的数据库不能导入，提示mysql数据库最大只能导入2M。　　 phpMyAdmin数据库导入出错：　　You probably tried to upload too large file. Please refer to documentation for ways to workaround this limit.
Tomcat性能调优方案 Sobfist apache jvm tomcat 应用服务器
一、操作系统调优对于操作系统优化来说，是尽可能的增大可使用的内存容量、提高CPU的频率，保证文件系统的读写速率等。经过压力测试验证，在并发连接很多的情况下，CPU的处理能力越强，系统运行速度越快。。【适用场景】任何项目。二、Java虚拟机调优应该选择SUN的JVM，在满足项目需要的前提下，尽量选用版本较高的JVM，一般来说高版本产品在速度和效率上比低版本会有改进。 J
SQLServer学习笔记 vipbooks 数据结构 xml
1、create database school 创建数据库school 2、drop database school 删除数据库school 3、use school 连接到school数据库，使其成为当前数据库 4、create table class(classID int primary key identity not null) 创建一个名为class的表，其有一

DiSAN: Directional Self-Attention Network forRNN/CNN-Free Language Understanding 笔记

Abstract

Introduction

Background

2.1 Sentence Encoding

2.2 Attention

2.3 Self-Attention

3 Two Proposed Attention Mechanisms

3.1 Multi-dimensional Attention

3.2 Two types of Multi-dimensional Self-attention

3.3 Directional Self-Attention

4 Directional Self-Attention Network

你可能感兴趣的:(推荐系统,深度学习,paper,推荐算法,深度学习,注意力机制)