cs224n学习笔记 01: Introduction and word vectors

关键词: Word Vectors, SVD (Singular Value Decomposition), Skip-gram, Continuous Bag of Words (CBOW), Negative Sampling, Hierarchical softmax, Word2Vec.

本节首先介绍NLP的一些一本概念和常见的NLP问题；然后讨论如何用向量（numeric vector）来表示一个一个的单词（word）；最后，我们对时下比较流行生成word vector方法进行探讨。

1. Introduction to NLP

1.1 常见的NLP任务

1.2 How to represent words？

2. Word Vectors词向量

3. one-hot vector

4 SVD based methods

4.1 如何生成矩阵X?

4.1.1 Word-Document Matrix

4.1.2 Window-based Co-occurrence Matrix

4.2 SVD

4.2.3 SVD-based methods的缺点和现有的解决方案

5 Iteration-based methods - Word2vec

5.1 Language Models 语言模型

5.2 Continuous Bag of Words Model (CBOW)

5.3 Skim-gram Model

5.4 Negative samping

5.5 Hierarchical softmax

5.5.1 与CBOW和Skim-gram的结合

6. References

1. Introduction to NLP

1.1 常见的NLP任务

简单的task: Spell Checking 拼写检查；Keyword Search 关键词搜索；Finding Synonyms 同义词查找
中等难度的task：解析来自网站、文档的信息
较高难度的task：Machine translation 机器翻译（中英互译）；Semantic Analysis 语义分析（查询语句的含义）；Coreference 指代消除（文档中的“it”或者“he”指代什么）；Question Answering 问答系统

1.2 How to represent words？

所有的NLP任务中，首要并且最重要的就是如何表示输入的单词？答案就是：Represent Words as Word Vectors. 使用用词向量来表示单词，这样就可以比较容易的衡量词与词之间的相似性与差异性。例如，使用cosine similarity、欧式距离等衡量词的相似性。

2. Word Vectors词向量

英语中近130万的单词，并且这些单词之间也存在一定的联系，比如：cat-feline，hotel-motel。很多研究表明，可以只要使用N维的向量空间，其中 $N \ll 130$ 万，就足以对一种语言的全部语义进行表达。例如，语义空间可以表示出时态（过去时、现在时、奇偶、性别等信息。

常用的生成word vectors方法可以分为以下几类：

one-hot vector
SVD-based methods
Iterations-based methods - word2vec

接下来，我们会对这些种类的方法进行详细介绍。注意，word vectors也可以写成word embeddings.

3. one-hot vector

one-hot vector方法是最简单和直接的一种。设语料库包括 $\left | V \right |$ 个不同的单词，对单词进行排序，用 $R^{\left | V \right | \times 1}$ 维的向量来表示每一个单词，向量只由0和1组成，其中该单词的对应的位置的值为1。具体例子如下：

$w^{aardvark}=\begin{bmatrix} 1\\ 0\\ 0\\ .\\ .\\ .\\ 0 \end{bmatrix}, w^{a}=\begin{bmatrix} 0\\ 1\\ 0\\ .\\ .\\ .\\ 0 \end{bmatrix}, w^{at}=\begin{bmatrix} 0\\ 0\\ 1\\ .\\ .\\ .\\ 0 \end{bmatrix},..., w^{zebra}=\begin{bmatrix} 0\\ 0\\ 0\\ .\\ .\\ .\\ 1 \end{bmatrix}$

可以看出，one-hot vector方法生成的word vectors，单词与单词之间是完全独立的。其缺点是反映不出词之间的相关性，例如：

$(w^{hotel})^{T}w^{motel} = (w^{motel})^{T}w^{hotel} = 0$

因此，我们可以尝试降低向量空间 $R\left | V \right |$ 的维度，寻找其他子空间对词与词之间的联系进行编码。

4 SVD based methods

SVD-based methods方法的通用流程：

遍历数据集并基于某些规则生成矩阵X，
然后使用Singular Value Decomposition（SVD奇异值分解）将X分解成。其中U的每一行就是对应单词的向量表示。

4.1 如何生成矩阵X?

本小节介绍两种生成矩阵X的方法，分别为Word-Document Matrix和Window-based co-occurrence Matrix。

4.1.1 Word-Document Matrix

“相关的词汇会经常出现在相同的文档中”，这个假设是很make sense的。例如：“银行”、“股票”、“钱”就会经常一起出现在同一篇文章中。因此基于这个假设，我们可以构建word-document Matrix，计算过程如下：

输入：个文档，这些文档由 $\left | V \right |$ 个不同的单词组成

输出: 矩阵，其中 $X \in R^{\left | V \right | \times M}$ ， $X_{ij}$ 代表单词出现在文档中的次数

过程：

For document_j in documents:

IF word_i appears in document_j:

THEN $X_{ij}:=X_{ij}+1$

END IF

END FOR

可以看出，X是一个相当大的矩阵。有没有其他更好的办法呢？

4.1.2 Window-based Co-occurrence Matrix

用矩阵X存储co-occurrence words（一起出现的词）之间的关系。其中，设语料库中共包括 $\left | V \right |$ 个不同的单词，X的维度为 $R^{\left | V \right | \times\left | V \right | }$ ， $X_{ij}$ 表示单词出现在单词的给定大小的邻域中的次数。

邻域的定义：设window-size=1，那么给定单词的左右相邻的各1个单词就是它的co-occurrence words，例如：

I like the sun，当window-size为1时，被"the"的co-occurrence words为"like"和”sun“。

Window-based co-occurrence Matrix计算过程举例：

设语料库只包括3个句子，分别为：

1. I enjoy flying.

2. I like NLP.

3. I like deep learning

设窗口大小window-size=1，那么对应的输出结果应该为：

例如，deep出现在like邻域窗口的次数为1，故而矩阵中对应的值为1。

4.2 SVD

计算出矩阵X之后，就可以使用SVD对X进行分解，得到。

如下图所示， $X \epsilon R^{\left | V \right | \times\left | V \right |},U \epsilon R^{\left | V \right | \times\left | V \right |},S \epsilon R^{\left | V \right | \times\left | V \right |},V \epsilon R^{\left | V \right | \times\left | V \right |}$ 。

其中S是对角矩阵，对角线的值代表奇异值singular values，已经按照值的大小倒序排列。

用 $U_{1:\left | V \right |,1:k}$ 选取U的前k列，U的每一行表示SVD降维后的对应单词的word vector。这样，每个单词就可以用k维向量表示。

使用下面的公式可以计算出使用这k个维度作为降维结果能够保留的信息比例。

$\frac{\sum_{i=1}^{k} \sigma _i}{\sum_{i=1}^{\left | V \right |} \sigma _i}$

4.2.3 SVD-based methods的缺点和现有的解决方案

优点：
- 上述基于计数的来构建矩阵的方式能够更好的利用global的统计信息
缺点：
- 矩阵的维度会经常改变。每当出现一个新的词或语料库中词的数量发生改变时，就需要调整矩阵的维度
- 由于存在大量的词之间不存在co-occurrence的关系，因此矩阵会非常稀疏
- 矩阵的维度会非常高，通常会近似为 $10^6 \times 10^6$
- SVD计算量非常大
- 需要额外处理词频分布不均的问题
现有的解决方案
- 去除function words,如：the，a，he，her....
- 使用改进的window，例如：加权窗口
- 使用皮尔逊相关并设置负计数，而不是只使用原始计数

5 Iteration-based methods - Word2vec

在介绍iteration-based methods之前，我们先简单介绍一下word2vec。

Word2vec是一个software package，它由以下两部分组成构成：

2种生成word vectors的算法：skim-gram和continuous bag-of-words (CBOW)。
2种训练方式：Negative sampling和Hierarchical softmax。这两种训练方式是为了减少使用CBOW或skim-gram来生成词向量的训练过程的计算量。

目前大家只要知道word2vec就是一个软件包，里面包括2个生成词向量的算法分别是skim-gram和continuous bag-of-words (CBOW)，以及2种减少训练过程计算量的训练方法。接下来，我们会对Word2vec的各个部分进行详细介绍。

现在，让我们正式进入本节的内容。

与第4节介绍的基于方法不同，Iteration-based methods不采用基于全部数据集的统计信息，而是基于局部的上下文信息（context ）来创建一个模型，这个模型能够通过迭代的方式不断更新待学习的参数——word vectors。为了能够让模型学习到最终的word vectors，我们需要定义损失函数来衡量每一步迭代的errors，然后根据error的变化来更新参数，例如可以通过梯度下降法对参数进行更新。word2vec就包含了两种常用的iteration-based methods。

context of words的定义：就是给定单词x，围绕与x左右相邻的、距离在小于等于m的词。以window-size=2为例，在句子”The quick brown fox jumped over the lazy dog“中，fox的context就是{"quick","brown","jumped","over"}。

5.1 Language Models 语言模型

首先，我们创建一个模型来表示由默写单词组成的句子出现的概率。以下面的句子为例：

“The cat jumped over the puddle”

一个好的语言模型能够给出这个句子出现的可能性，包括：语义上和语法上出现的可能性。可以看出，上面的句子出现的可能性很大。而“stock boil fish is toy”出现的可能性会很低，因为make no sense。

由n个单词组成的句子出现的概率可以的数学方式进行描述，公式如下：

假设句子中的每个单词都是独立的，那么模型可以被表示为：

$P(w_1,w_2,......,w_n)=\prod_{i=1}^{n} p(w_i)$

但是我们知道，句子中的单词不肯能独立，它们之间一定存在依赖关系。因此，我们可以增强一下假设，令句子中的每个单子只依赖于其前面的一个词，这样的话模型可以表示为：

$P(w_1,w_2,......,w_n)=\prod_{i=2}^{n} p(w_i|w_{i-1})$

当然，我们知道这个假设也是非常的naive的，该假设只考虑了单词的context上下文信息，而没有从句子的整体进行考虑。但是这个假设也足以帮助我们做很多事，例如：在基于window-size=1生成的Word-Word Matrix中，就可以给出两个词同时出现的概率；但是，我们知道在这种情况下它的计算量很大。

接下来，我们就要开始介绍word2vec中的两个algorithms和两个training models。

5.2 Continuous Bag of Words Model (CBOW)

首先再次强调一下，CBOW是一种基于迭代的、学习word vectors的方法。

它的思想是：给定一个中心词的上下文单词，预测这个中心词是是什么。例如：{"the","cat","?", "over","the","puuddle"}，预测“?”是哪个词。

因此，CBOW训练数据由（中心词对应的context，中心词）组成，其中中心词就是数据的label。

接下来我们开始介绍CBOW的具体实现：

首先，我们给出一些已知参数的定义：
- 设数据集共包括 ${\left | V \right |}$ 个不同的单词
- 首先为数据集生成one-hot编码的word vectors，然后用词向量的组合来表示数据集中的每一个句子
- $x^{(c)}$ ：代表句子中第c个单词对应的one-hot word vector， $x^{(c)}\in R^{\left | V \right | \times1}$ ；
- $y^{(c)}$ ：表示模型对该组输入数据做出的中心词的预测结果， $y^{(c)}\in R^{\left | V \right | \times1}$ ；
- $\hat{y^{(c)}}$ ：代表该组数据的label，就是这个真实中心词对应的one-hot word vector， $\hat{y^{(c)}}\in R^{\left | V \right | \times1}$ 。
接下来，给出需要学些的未知参数的定义。
- 假设我们希望用维的向量来表示每个单词，就是词向量空间的大小为
- 创建两个矩阵，分别为： $W\in R^{n\times \left | V \right |}$ ， $W^{'}\in R^{\left | V \right | \times n}$
  - 代表input word vector，其中每一列为对应单词在作为context word输入时的向量表示
  - $W^{'}$ 代表output word vector，其中每一行代表对应单词作为context word输出时的向量表示

CBOW需要为每个单词学习两个向量，分别为：

w： input vector，用来表示该单词作为context word输入时的向量表示
w': output vector，用来表示该单词作为center word输出时的向量表示

具体步骤如下：

Step 1. 生成one-hot word vectors，其中 $x^{(c)}$ 表示单词c对应的one-hot向量， $x^{(c)}\in R^{\left | V \right | \times1}$

Step 2. 设上下文窗口大小为m，那么中心词c的上下文就可以被表示为： $(x^{(c-m)},...,x^{(c-1)},x^{(c+1)},...,x^{(c+m)})$

Step 3. 计算context的embedded word vectors： $(w_{(c-m)}=Wx^{(c-m)},w_{(c-m+1)}=Wx^{(c-m+1)},...,w_{(c+m)}=Wx^{(c+m)})$ ，每一个就代表该单词作为context word时的向量表示。

Step 4. 计算 $\hat{w}=\frac{w_{c-m}+w_{c-m+1}+...+w_{c+m}}{2m} \in R^{n\times1}$ ，这就是右图中的隐藏层的值

Step 5. 计算score vector： $z=W^{'} \hat{v}\in R^{\left | V \right | \times1}$ ，其中 $W^{'}\in R^{\left | V \right | \times n}$

Step 6. 使用softmax函数将score vector转成概率vector： $y=softmax(z) \in R^{\left | V \right | \times 1}$ ，其中输出的需要与真实的label $\hat{y}$ 进行比较，其中 $\hat{y} \in R^{\left | V \right | \times 1}$ 是真实中心词的one-hot vector

cs224n学习笔记 01: Introduction and word vectors_第4张图片

接下来，我们给出CBOW模型的损失函数。对于给定的一组数据，使用cross entropy来度量输出的与真实的label $\hat{y}$ 之间的差别：

$H(\hat{y},y)=-\sum_{j=1}^{\left | V \right |}\hat{y_j}log(y_j)$

由于真实label $\hat{y}$ 是一个one-hot vector，只有center word对于的位置才是1，其它位置均为0。因此设第i个单词为真正的中心词，则可以将上面的损失函数可以化简为：

$H(\hat{y},y)=\hat{y_i}log(y_i)$

因此，CBOW的目标函数应该为：

$minimize J = - logP(word_c|word_{c-m},....,word_{c-1},word_{c+1},word_{c+m})$

$=-log(w_c^{'}|\hat{w})$

$=-log\frac{exp((w_c^{'})^T\hat{w})}{\sum_{j=1}^{\left | V \right |}exp((w_j^{'})^T\hat{w})}$

$=-(w_c^{'})^T\hat{w}+log\sum_{j=1}^{\left | V \right |}exp((w_j^{'})^T\hat{w})}$

这样，就可以使用梯度下降算法来迭代的更新所有的参数。

5.3 Skim-gram Model

再次强调一下， Skim-gram Model是Wordvec中包含的另外一种基于迭代的、学习word vectors的方法。

它的思想是：给定一个中心词，预测这个中心词的上下文单词分别是什么。例如：给定”jump“，预测和生成其周围的context words："the","cat","over","the","puuddle".

因此， Skim-gram Model训练数据由（中心词, 中心词周围的context words）组成，其中中心词周围的context words就是数据的label。其实就是将CBOW中的label和数据互换。

接下来我们开始介绍Skim-gram的具体实现：

Skim-gram中的已知参数和未知参数的定义与CBOW完全一样，它的目标也与CBOW完全一样，就是学习 $W\in R^{n\times \left | V \right |}$ 和 $W^{'}\in R^{\left | V \right | \times n}$ 这两个输入向量矩阵和输出向量矩阵，即：为每个单词学到两个向量：

w： input vector，用来表示该单词作为context word输入时的向量表示
w': output vector，用来表示该单词作为center word输出时的向量表示

具体步骤如下：

Step 1. 生成one-hot word vectors，其中 $x^{(c)}$ 表示中心词c对应的one-hot向量， $x^{(c)}\in R^{\left | V \right | \times1}$

Step 2. 计算中心词对应的embedded word vectors： $w_{(c)}=Wx^{(c)}\in R^n$ ，就代表该单词作为中心词时的向量表示，这也是右图中隐藏层的输出

Step3. 计算score vector: $z=W^{'} v_c$ 。注意，这代表context words中的一个单词的预测得分

Step 4. 将score vector转成概率： $y=softmax(z) \in R^{\left | V \right | \times 1}$ 。注意。如果context window size=c，那么对于中心词c，就有C=2c个向量输出，分别为： $y_{c-m},...,y_{c-1},y_{c+1},y_{c+m}$ ，这就是右图中的输出层的值。

其中输出的需要与真实的label $\hat{y}$ 进行比较，其中 $\hat{y_{c-m}},...,\hat{y_{c-1}},\hat{y_{c+1}},...,\hat{y_{c+m}} \in R^{\left | V \right | \times 1}$ 是真实context words对应的one-hot vector

cs224n学习笔记 01: Introduction and word vectors_第5张图片

与CBOW一样，我们也需要定义目标函数用来评估模型。与CBOW不一样的是，我们引入Naive Bayes假设来简化概率表达式，即：假设所有的context words之间完全独立，就是说Skim-gram的输出词全部完全独立。这样，当只计算一个中心词的context words时，目标函数可以表示为：

$minimize J = - logP(word_{c-m},....,word_{c-1},word_{c+1},word_{c+m}|word_c)$

$=-log\prod_{j=0,j\neq m}^{2m} P(word_{c-m+j}|word_c)$ --->Naive bayers假设

$=-log\prod_{j=0,j\neq m}^{2m} P(w_{c-m+j}'|w_c)$

$=-log\prod_{j=0,j\neq m}^{2m}\frac{exp((w_{c-m+j}^{'})^Tw_c)}{\sum_{j=1}^{\left | V \right |}exp((w_{j}^{'})^Tw_c)}$

$=-\sum_{j=0,j\neq m}^{2m}(w_{c-m+j}^{'})^Tw_c+2m log\sum_{j=1}^{\left | V \right |}exp((w_j^{'})^T w_c)}$

注意，上面的式子中，第三步可以表示为下面的公式，其中H代表概率的交叉熵。

$minimize J = - logP(word_{c-m},....,word_{c-1},word_{c+1},word_{c+m}|word_c)$

$=-log\prod_{j=0,j\neq m}^{2m} P(w_{c-m+j}'|w_c)$

$=-\sum_{j=0,j\neq m}^{2m}log P(w_{c-m+j}'|w_c)$

$=-\sum_{j=0,j\neq m}^{2m}H(\hat{y_{c-m+j}},y_{c-m+j})$

5.4 Negative samping

回顾一下上面Skim-gram和CBOW的目标函数，可以看到，求和的复杂度非常巨大： $O(\left | V \right |)$ 。每一次更新都要涉及到 $O(\left | V \right |)$ 的计算量，那么如果需要进行百万级别的更新，那么计算量将会更大。因此，很自然的，我们想通过一些方法来求它的近似值，进而降低计算量。

首先给出Negative example的定义：以Skim-gram为例，一个中心词+context word组成的元组就是一个样本，对于这个样本来说，它的标签应该是一个one-hot向量，并且该向量只有context word c对应的位置的值为1，其余位置的值应该都为0，那么其余任意位置对应的单词与中心词w组成的元组就是一个负样本。

Negative Sampling的思想就是：对于每次迭代，我们不对单词集的全部单词进行遍历，而是从中采样出一些Negative examples(负样本)，仅对这些负样本对应的参数进行更新。采样服从分布，单词被采为负样本的概率与其在语料库中出现的频率大小相关。

当采用negative sampling时，只需要对原始算法的目标函数作以下修改即可：

目标函数

MIKOLOV等人提出的Negative Sampling是基于Skim-gram进行改进的。

设表示一个中心词和context word的元组。定义代表属于语料库的概率，这就是正样本的概率；表示不属于语料库的概率，即：负样本的概率。

首先，我们用sigmoid function来对进行建模：

$P(D=1|w,c,\theta) = \sigma ((w_c')^Tw_w)=\frac{1}{1+e^{-(w_c')^Tw_w}}$

然后，我们的目标函数应该是：尽可能的使得确实属于自语料库的中心词+context word对应的最大；并且尽可能的使得确实不属于语料库的元组的概率和最大。则可以表示为：

$\theta = a\underset{\theta}{rgmax} \prod_{(w,c)\in D} P(D=1|w,c,\theta) \prod_{(w,c)\in \tilde{D}} P(D=0|w,c,\theta)$

$= a\underset{\theta}{rgmax} \prod_{(w,c)\in D} P(D=1|w,c,\theta) \prod_{(w,c)\in \tilde{D}} (1 - P(D=1|w,c,\theta))$

$= a\underset{\theta}{rgmax} \sum_{(w,c)\in D}log P(D=1|w,c,\theta) +\sum_{(w,c)\in \tilde{D}} log(1-P(D=0|w,c,\theta))$

$= a\underset{\theta}{rgmax} \sum_{(w,c)\in D}log \frac{1}{1+e^{(-(w_c')^Tw_w)}}+\sum_{(w,c)\in \tilde{D}} log (1- \frac{1}{1+e^{(-(w_c')^Tw_w)}})$

$= a\underset{\theta}{rgmax} \sum_{(w,c)\in D}log \frac{1}{1+exp{(-(w_c')^Tw_w)}}+\sum_{(w,c)\in \tilde{D}} log ( \frac{1}{1+exp{((w_c')^Tw_w)}})$

等价于，求其取负后的最小值对应的参数，取负后的损失函数为：

$J= - \sum_{(w,c)\in D}log \frac{1}{1+e^{(-(w_c')^Tw_w)}}-\sum_{(w,c)\in \tilde{D}} log (1- \frac{1}{1+e^{(-(w_c')^Tw_w)}})$

其中，代表属于语料库的集合； $\tilde{D}$ 代表Negative samples，即没有在语料库中出现的数据，换句话说语料库中没有出现c作为w的上下文单词出现的情况。可以通过随机采样来生成 $\tilde{D}$ 。

对于Skim-gram来说，如果我们计算给定中心词w的第w-m+j的context word，那么目标函数可以写成：

$- log \sigma((w_{w-m+j}')^T w_w)-\sum_{k=1}^{K} log \sigma(-(\tilde{w_{k}'})^T w_w)$

对于CBOW来说，给定中心词w的context向量为： $\hat{w}=\frac{w_{c-m}+w_{c-m+1}+...+w_{c+m}}{2m} \in R^{n\times1}$ ，那么目标函数为：

$- log \sigma((w_{w}')^T \hat{w})-\sum_{k=1}^{K} log \sigma(-\tilde{w_{k}'}^T \hat{w})$

注意，

在Skim-gram中代表单词w作为中心词时的向量；代表单词w作为context word时的向量；

而在CBOW中代表单词w作为context word时的向量；代表单词w作为center word时的向量。

采样的规则

上文讲到了对负样本进行随机采样，那么接下来就讲一下如何对负样本进行随机采样。

设样本采样的概率服从分布，那么该怎么定义呢？

一个单词被选作 negative sample 的概率跟它出现的频次有关，出现频次越高的单词越容易被选作negative samples，Word2vec代码中一个单词被选为negative sample的概率的计算公式为：

$P_n(w_i) =\frac{ f(w_i)^{3/4}}{\sum_{j=0}^{n}( f(w_j)^{3/4})}$

其中，f(w) 代表每个单词被赋予的一个权重，即：该单词出现的词频；分母代表所有单词的权重和。公式中3/4完全是基于经验的，论文中提到这个公式的效果要比其它公式更加出色。

5.5 Hierarchical softmax

在Hierarchical Softmax中，使用霍夫曼编码后的二叉树来表示全部的单词。其中:

每个叶子节点代表一个单词，共有个叶子节点，从根节点到每个单词有一条特定的路径。二叉树的输入是一个词向量，输出是叶子节点代表的单词。
每个非叶子节点都相当于一个二分类器，决定输入一个词向量之后，决定是采用左子节点还是右子节点包括在路径中直至抵达最后的叶子节点；它涉及到的参数是一个向量，这个向量就是模型需要学习的参数。

给定词向量时，代表单词的概率就等于：从根节点随机游走到对应叶子节点的概率。使用这种方式计算概率，计算cost只要，即：二叉树路径的长度。

该模型的目的不是为了每个单词学得一个词向量，而是要为每个非叶子节点学得其参数向量。

cs224n学习笔记 01: Introduction and word vectors_第6张图片

接下来给出一些基本定义：

：从根节点到叶子节点的路径上包括的节点的数量。例如下图中，，即：根节点到叶子节点共有3个非叶子结点。
：代表从根节点到叶子节点的路径上第个节点
$v_{n(w,i)}$ ：代表从根节点到叶子节点的路径上第个节点对应的向量
：代表从根节点输入的向量

因此，代表根节点，代表叶子节点的父节点。

设代表节点的左节点，那么给定词向量时，代表单词的概率为：

$p(w|w_i)=\prod_{j=1}^{L(w)-1}\sigma (\left [ n(w,j+1)=ch(n(w,j)) \right ]\cdot v_{n(w,j)}^Tv_{w_i})$

where， $[x]=\begin{cases} 1 & \text{ if } x = true \\ -1& \text{ otherwise } \end{cases}$ and $\sigma(x)=\frac{1}{1+e^{-x}}$

其中， $\left [ n(w,j+1)=ch(n(w,j)) \right ]$ 代表：在给定输入向量 $v_{w_i}$ 时，走向单词的路径中第j+1个节点是否为上一个节点的左节点，如果是左节点，则为1，否则为-1。注意sigmoid的函数的特性有： $\sigma(-x)=1-\sigma(x)$ ，即： $\sigma(x)+\sigma(-x)=1$ ，满足左右节点的概率和为1。另外， $\sum_{w=1}^{|V|}p(w|w_i)=1$ 。

最后，我们可以通过点乘来计算给定输入向量 $v_{w_i}$ 和每个inner node $v_{n(w,j)}^T$ 之间的相似性，再使用sigmoid函数求出路径中每个节点的下一个节点是其左节点还是右节点的概率。例如：上图中的叶子节点,从根节点到它的路径为：根节点-左节点-左节点-右节点，因此：

$p(w|w_2)=p(n(w_2,1),left)\cdot p(n(w_2,2),left)\cdot p(n(w_2,3),right)$

$=\sigma (v_{n(w_2,1)}^Tv_{w_2}) \cdot \sigma (v_{n(w_2,2)}^Tv_{w_2}) \cdot \sigma (-v_{n(w_2,3)}^Tv_{w_2})$

为了训练模型，我们的目标就是最小化负的log likelihood函数：，然后对里面每个inner node的对应的向量和输入向量进行更新。

5.5.1 与CBOW和Skim-gram的结合

用构建好的霍夫曼树替换CBOW和SKim-gram中的softmax输出层，减少计算量。

CBOW

1. 输入层：中心词C的context words对应的向量

2. 隐藏层

3. 输出层：霍夫曼树

cs224n学习笔记 01: Introduction and word vectors_第7张图片

Skim-gram

1. 输入层：中心词C+其context words组成的词组

2. 隐藏层

3. 输出层：霍夫曼树

cs224n学习笔记 01: Introduction and word vectors_第8张图片

6. References

[Bengio et al., 2003] Bengio, Y., Ducharme, R., Vincent, P., and Janvin, C. (2003). A neural probabilistic language model. J. Mach. Learn. Res., 3:1137–1155.
[Collobert et al., 2011] Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K., and Kuksa, P. P. (2011). Natural language processing (almost) from scratch. CoRR, abs/1103.0398.
[Mikolov et al., 2013] Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). Efficient estimation of word representations in vector space. CoRR, abs/1301.3781.
[Rong, 2014] Rong, X. (2014). word2vec parameter learning explained. CoRR, abs/1411.2738.
[Rumelhart et al., 1988] Rumelhart, D. E., Hinton, G. E., and Williams, R. J. (1988). Neurocomputing: Foundations of research. chapter Learning Representations by Back-propagating Errors, pages 696–699. MIT Press, Cambridge, MA, USA.

你可能感兴趣的:(cs224n学习笔记,NLP)

C++学习笔记（lambda函数） __TAT__ C&C++c++学习笔记
C++learningnote1、lambda函数的语法2、lambda函数的几种用法1、lambda函数的语法lambda函数的一般语法如下：[capture_clause](parameters)->return_type{function_body}capture_clause：需要捕获的变量，但要求该变量必须在这个作用域中。通常的捕获方式有以下几种：[]：不捕获任何变量[&]：按引用捕获变
2018-11-18成长小组学习笔记实验中学45
因为嗓子“罢工”，我面对众人只能借“微笑”代言。在开始授课前，绣霞老师先反馈上次作业的情况，提到“接纳”需是真正发自内心的完全接纳，而不是口头上的接纳，内心却是排斥的。提到一个“问题”孩子恰恰对家爱的更加“深沉”，夫妻间的问题不能影响到孩子，对孩子更好的爱不是你为他做的更多，而是给他自由、健康成长的空间。图片发自App一、孩子：家庭的一面镜子夫妻成了彼此的“投射”，婚姻便“吵的不可开交”，婚姻便成
数据管理知识体系指南（第二版）-第五章——数据建模和设计-学习笔记键盘上的五花肉数据治理数据库数据仓库数据治理
目录5.1引言5.1.1业务驱动因素5.1.2目标和原则5.1.3基本概念5.2活动5.2.1规划数据建模5.2.2建立数据模型5.2.3审核数据模型5.2.4维护数据模型5.3工具5.3.1数据建模工具5.3.2数据血缘工具5.3.3数据分析工具5.3.4元数据资料库5.3.5数据模型模式5.3.6行业数据模型5.4方法5.4.1命名约定的最佳实践5.4.2数据库设计中的最佳实践5.5数据建模和
Java学习笔记01 .wsy. 日常 java 学习笔记
1.1Java简介Java的前身是Oak，詹姆斯·高斯林是java之父。1.2Java体系Java是一种与平台无关的语言，其源代码可以被编译成一种结构中立的中间文件（.class，字节码文件）于Java虚拟机上运行。1.2.3专有名词JDK提供编译、运行Java程序所需要的种种工具及资源。JRE是运行Java所依赖的环境的集合。JVM是一个虚构出来的计算机，通过在实际的计算机上仿真模拟各种计算机功
【Git安装及使用学习笔记】可可西里啊零零散散的学习笔记 git 学习笔记 c++qt5
Git学习笔记Git安装Git创建本地版本库以及提交文件使用Git提交代码到码云使用Git从码云拉取代码参考博客Git安装这里参考Git详细安装教程（详解Git安装过程的每一个步骤）Git创建本地版本库以及提交文件1.查看git版本信息：git--version2.设置对应用户名与邮箱地址gitconfig--globaluser.name"your_usernamegitconfig--glob
C#学习笔记 2301_79022588 学习笔记
一、事件派发器在C#中，事件派发器通常是指事件委托和事件处理程序的组合，用于实现一种观察者设计模式。它允许对象在状态发生变化时通知其他对象，从而实现对象之间的解耦。事件派发器的基本组成部分：事件委托（EventDelegate）：事件委托是一种特殊的委托，用于封装可以被调用的方法。它定义了事件的签名，即指定了事件处理程序方法的参数和返回类型。通常，事件委托声明在事件派发器类的外部，并且使用dele
Java学习笔记04：Java_数组 JasonYangQ Java java
文章目录1.数组1.1数组介绍1.2数组的定义格式1.2.1第一种格式1.2.2第二种格式1.3数组的动态初始化1.3.1什么是动态初始化1.3.2动态初始化格式1.3.3动态初始化格式详解1.4数组元素访问1.4.1什么是索引1.4.2访问数组元素格式1.4.3示例代码1.5内存分配1.5.1内存概述1.5.2java中的内存分配1.9数组的静态初始化1.9.1什么是静态初始化1.9.2静态初始
【编译原理】一篇就够了——学习笔记与课程实验超详细整理一棵___大树编译原理学习笔记学习算法
⭐⭐⭐⭐⭐⭐Github主页https://github.com/A-BigTree更多学习笔记链接https://github.com/A-BigTree/college_assignment编译原理实验https://github.com/A-BigTree/college_assignment/compiler_Experiment如果可以，麻烦各位看官顺手点个star~如果文章对你有所帮助
Java学习笔记：atomic的实现原理？曲钟人散
在多线程的场景中，我们需要保证数据安全，就会考虑同步的方案，通常会使用synchronized或者lock来处理，使用了synchronized意味着内核态的一次切换。这是一个很重的操作。有没有一种方式，可以比较便利的实现一些简单的数据同步，比如计数器等等。concurrent包下的atomic提供我们这么一种轻量级的数据同步的选择。classMyThreadimplementsRunnable{
Python学习笔记07 正文01 python 学习笔记
第十三章，面向对象初识对象生活中数据的组织学校开学，要求学生填写自己的基础信息，一人发一张白纸，让学生自己填我叫林军杰，今年31岁.来自山东省，我是男的，中国人内容混乱改为登记表，打印出来让学生自行填写：姓名林军杰姓别男国籍中国籍贯山东省年龄31整洁明了程序中数据的组织在程序中简单使用变量来记录学生信息student_1={"姓名"："周杰轮"，"性别"："男"，"国籍"："中国"，"籍贯"："台
Python学习笔记03 正文01 python 学习笔记
第五章、Python函数函数介绍函数函数：是组织好的，可重复使用的，用来实现特定功能的代码段name="itheima"length=len(name)print(length)输出结果：7为什么随时都可以使用len()统计长度？因为，len()是Python内置的函数：是提前写好的可以重复使用实现统计长度这一特定功能的代码段我们使用过的：input()、print()、str()、int()等都
2021-02-07 NLP心理实操作线上课 day7（16讲、17讲）海洋7606
#前提假设（上）（下）【学习内容】：第十六讲：前提假设（上）1、前提假设A.对人的前提假设【看人】：（1）没有两个人是一样的（2）沟通的效果取决于对方的回应【每当做出一个沟通需要向对方做出一个核对】（3）一个人不能改变另外一个人（4）每一个人都选择给自己最佳利益的行为(5）每人都已经具备使自己成功快乐的资源和能力（6）动机和情绪总不会错，只是行为没有效果而已第十七讲：前提假设（下）B.对事的前提假
揭秘物联网网关，如何工作？功能及选择网关的主要考虑因素东胜物联硬件知识东胜产品物联网嵌入式硬件智能硬件智能网关
【前言】本篇为物联网硬件系列学习笔记，分享学习，欢迎评论区交流~在物联网时代，物联网网关至关重要。它充当传统通信网络和传感网络之间的桥梁。物联网网关作为M2M网关，可以实现各类感知网络之间、感知网络与通信网络之间的协议转换。同时，它能够实现广域和局域连接。此外，物联网网关还要求具备设备管理功能，以便操作人员能够管理底层传感节点，了解各节点的相关信息，实现实时显示、异常报警和远程控制。物联网网关如何
c++学习笔记（8）有趣的树人 c++学习笔记
1.C++中的strlen函数用于计算字符串的长度，直到遇到空字符（'0'）为止，但不包括这个空字符本身。strlen是C语言标准库中的一个函数，它的作用是确定一个以空字符结尾的字符数组（即C风格字符串）的长度。这个函数在头文件中定义，通常在需要知道字符串长度时使用，例如在复制或比较字符串时。关键点：函数原型：size_tstrlen(constchar*str)，其中size_t是一个无符号整数
学习笔记：TBL团队合作学习法琦0227
最近几讲陈蕾老师一直围绕着小组活动展开，先是澄清了小组活动的三种形式：对话，讨论与合作；接着给出了合作学的三种方法：TPS，四聚头法，拼图法；然后带领我们认识实施合作学习的五要素。有浅入深，让我们对小组活动的认知螺旋上升。今天这一讲TBL团队学习法。结合前面的学习，TBL与一般小组合作学习的不同之处在于：第一：TBL有固定且目的性的异质分组。一般小组合作我们常采用同桌两两一组，前后桌四人一组等比较
Python学习笔记 —— 文件处理模块 miles-zh python python
Excel文件openpyxl读/写Excel文件，https://pypi.org/project/openpyxlxlwt创建Excel文件，设置单元格样式，https://pypi.org/project/xlwtxlrd读取Excel文件，https://pypi.org/project/xlrdxlutils修改Excel文件，https://pypi.org/project/xluti
Java学习笔记之Java基础语法01-变量与常量神马都会亿点点的毛毛张编程笔记编程实战 java 学习笔记
文章目录0.前言1.注释1.1注释格式1.2使用的技巧2.关键字2.1概念2.2class关键字2.3保留字3.字面量3.1字面量种类3.2常用转义字符4.变量4.1变量定义4.2数据类型1.分类2.基本数据类型(四类八种)3.变量初始化细节4.3计算机中的数据存储4.4练习练习1练习2练习34.5标识符1.硬性要求：2.命名原则A.小驼峰命名法B.大驼峰命名法C.阿里巴巴命名规范细节：0.前言本
web学习笔记（四十二） shan33__ 笔记前端学习笔记 javascript 开发语言
目录1.ECMAScript新特性-async和await1.1async函数1.2await函数1.3补充：2.ES6模块化2.1模块化的优点2.2ES6模块化语法2.3ES6模块暴露2.4ES6模块导入1.ECMAScript新特性-async和await1.1async函数async函数可以单数使用，但一般我们会将async函数和await函数结合使用，可以让异步代码像同步代码一样运行，也可
Python机器学习笔记：CART算法实战战争热诚
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote前言在python机器学习笔记：深入学习决策树算法原理一文中我们提到了决策树里的ID3算法，C4.5算法，并且大概的了
beego框架基础知识学习笔记一弓虽 beego框架学习 beego 学习
网站beegogithub地址：https://github.com/beego/beegobeego中文学习文档：http://beego.gocn.vip/beego/zh/developing/什么是beegobeego是一个快速开发go应用的HTTP框架他可以用来快速开发API、Web及后端服务等各种应用bee工具什么是beebee工具是一个为了协助快速开发beego项目而创建的项目，通过
RabbitMQ学习笔记：节点名称详解、rabbitmq-server、及rabbitmq-env.conf Bejpse java java 后端
rabbitmq-serverrabbitmq-server启动一个RabbitMQ节点1.rabbitmq-server在前端启动一个RabbitMQ节点，示例如下：[root@rabbit3rabbitmq]#rabbitmq-server####RabbitMQ3.8.1##############Copyright(c)2007-2019PivotalSoftware,Inc.######
设计模式学习笔记 - 设计原则与思想总结：2.运用学过的设计原则和思想完善之前性能计数器项目陈建111 设计模式-实战设计原则思想实战
概述在《设计原则-10.实战：针对非业务的通用框架开发，如何做需求分析和设计及如何实现一个支持各种统计规则的性能计数器》中，我们讲解了如何对一个性能计数器框架进行分析、设计与实现，并且实践了一些设计原则和设计思想。当时提到，小步快跑、逐步迭代式一种非常实用的开发模式。所以，针对这个框架的开发，我们分多个版本来逐步完善。《设计原则-10.实战：针对非业务的通用框架开发，如何做需求分析和设计及如何实现
设计模式学习笔记 - 规范与重构 - 7.实践：通过一段ID生成器代码，学习如何发现代码质量问题陈建111 设计模式-实战代码质量重构
前言前面讲了重构相关的知识点。用一句话总结：重构就是发现代码质量问题，并且对其进行优化的过程。今天借助一个ID生成器代码，给你展示以下重构的大致过程。背景介绍在软件开发中，ID常用来表示一些业务信息的唯一标识，比如订单的单号、数据库中的唯一主键。假设你正参与一个后端业务系统的开发，为了方便在请求出错时排查问题，在写代码的时候会在关键路径上打印日志。某个请求出错后，希望能搜索出这个请求对应的所有日志
设计模式学习笔记 - 规范与重构 - 8.实践：程序出错返回啥？NULL、异常、错误吗、空对象？重构ID生成器，处理各函数的异常陈建111 设计模式-实战程序出错时返回内容
概述我们可以把函数的运行结果分为两类。一类是预期结果，也就是正常情况下输出的结果。一类是非预期的结果，也就是函数在异常（或出错）情况下输出的结果。在正常情况下，函数返回数据的类型非常明确，但是在异常情况下，函数的返回数据类型确非常灵活，有多种选择，比如异常（Exception）、错误码、NULL值、特殊值（比如-1）、空对象（比如空字符串、空集合）等。在异常情况下，函数到底该返回什么样的数据类型，
2024.3.7|华北水利水电大学江淮校区ACM社团训练赛锅巴xx 训练赛 c++笔记算法
2024.3.7|华北水利水电大学江淮校区ACM社团训练赛1.[NOIP2015]金币2.牛牛算数3.四则运算4.数学实验5.隐瞒成绩6.斐波那契心有猛虎，细嗅蔷薇。你好朋友，这里是锅巴的C\C++学习笔记，常言道，不积跬步无以至千里，希望有朝一日我们积累的滴水可以击穿顽石。[NOIP2015]金币题目：国王将金币作为工资，发放给忠诚的骑士。第一天，骑士收到一枚金币；之后两天（第二天和第三天），每
web学习笔记（三十六） shan33__ 笔记学习笔记 html 前端 javascript
目录1.解构1.1对象解构1.2字符串解构1.3函数解构1.4总结2.模板字符串3.实例方法：startsWith()和endsWith()4.箭头函数4.1箭头函数的格式4.2箭头函数可以省略的部分4.3箭头函数总结5.剩余参数rest参数1.解构1.1对象解构在解构对象时要求变量名和对象的属性名保持一致，顺序不需要一致，可以随便写，但变量名和属性名一定要保持一致否则会输出undefined。当
web学习笔记（三十四） shan33__ 笔记学习笔记 javascript 原型模式正则表达式
目录1.面向对象的特征2.面向对象的继承方式3.正则表达式3.1如何创建正则表达式3.2边界符3.2[]方括号3.3正则表达式中相关的方法汇总3.4常用元字符含义3.5常用量词1.面向对象的特征封装性：就像是把东西放在一个密封的盒子里一样，只让外部使用者通过指定的接口来访问盒子里的东西，而不需要知道盒子里具体是怎么实现的。这样做可以保护内部数据，让代码更容易维护和重用。继承性：就像家族中的父子关系
HTML 学习笔记(十)块和内联 Leisureconfused HTML html 学习笔记
每个HTML元素都有一个默认的显示值，显示值又可以再分为block(块)和inline(内联)一、块元素通过F12进入浏览器开发者模式查看该元素会发现其所占宽度为整个网页的宽度1.div标签通过div标签将一些元素装进"盒子"，从而对盒子中的全部元素进行相同的操作table标题第一段第二段2.常见的块元素table块级元素标题元素段落元素列表元素表格元素分块元素h1-h6pol,li,ul,dl,
自然语言处理概念以及发展黑夜照亮前行的路自然语言处理
自然语言概念总结自然语言处理（NaturalLanguageProcessing，简称NLP）是计算机科学领域与人工智能领域的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理旨在帮助计算机理解和处理自然语言，使计算机能够像人类一样处理和生成语言。从概念上讲，自然语言处理融合了语言学、计算机科学和数学等多学科的知识。它并不仅仅是一般地研究自然语言，而是侧重
读《重塑心灵》，悟个人与企业系统关系猫咪06
系统动力派NLP的创始人李中莹先生在他的《重塑心灵》中写到：一个人生于宇宙之间，不可能脱离其它人事物的影响，也不可能完全不影响其他人，因此只有充分尊重这种系统性才能摆正自己的位置，达到天人合一，内外和谐的境界，理解事物，如果越能从系统的整体平衡的角度出发，站在系统的高度理解事物，他就越能照顾全局，越能更好地解决问题，NLP12条前提假设中的“凡事照顾了三赢，不会有后遗症”也是系统的观念。在任何一个
项目中枚举与注解的结合使用飞翔的马甲 java enum annotation
前言：版本兼容，一直是迭代开发头疼的事，最近新版本加上了支持新题型，如果新创建一份问卷包含了新题型，那旧版本客户端就不支持，如果新创建的问卷不包含新题型，那么新旧客户端都支持。这里面我们通过给问卷类型枚举增加自定义注解的方式完成。顺便巩固下枚举与注解。一、枚举 1.在创建枚举类的时候，该类已继承java.lang.Enum类，所以自定义枚举类无法继承别的类，但可以实现接口。
【Scala十七】Scala核心十一：下划线_的用法 bit1129 scala
下划线_在Scala中广泛应用，_的基本含义是作为占位符使用。_在使用时是出问题非常多的地方，本文将不断完善_的使用场景以及所表达的含义 1. 在高阶函数中使用 scala> val list = List(-3,8,7,9) list: List[Int] = List(-3, 8, 7, 9) scala> list.filter(_ > 7) r
web缓存基础：术语、http报头和缓存策略 dalan_123 Web
对于很多人来说，去访问某一个站点，若是该站点能够提供智能化的内容缓存来提高用户体验，那么最终该站点的访问者将络绎不绝。缓存或者对之前的请求临时存储，是http协议实现中最核心的内容分发策略之一。分发路径中的组件均可以缓存内容来加速后续的请求，这是受控于对该内容所声明的缓存策略。接下来将讨web内容缓存策略的基本概念，具体包括如如何选择缓存策略以保证互联网范围内的缓存能够正确处理的您的内容，并谈论下
crontab 问题周凡杨 linux crontab unix
一： 0481-079 Reached a symbol that is not expected. 背景： */5 * * * * /usr/IBMIHS/rsync.sh
让tomcat支持2级域名共享session g21121 session
tomcat默认情况下是不支持2级域名共享session的，所有有些情况下登陆后从主域名跳转到子域名会发生链接session不相同的情况，但是只需修改几处配置就可以了。打开tomcat下conf下context.xml文件找到Context标签,修改为如下内容如果你的域名是www.test.com <Context sessionCookiePath="/path&q
web报表工具FineReport常用函数的用法总结（数学和三角函数）老A不折腾 Web finereport 总结
ABS ABS(number):返回指定数字的绝对值。绝对值是指没有正负符号的数值。 Number:需要求出绝对值的任意实数。示例: ABS(-1.5)等于1.5。 ABS(0)等于0。 ABS(2.5)等于2.5。 ACOS ACOS(number):返回指定数值的反余弦值。反余弦值为一个角度，返回角度以弧度形式表示。 Number:需要返回角
linux 启动java进程 sh文件墙头上一根草 linux shell jar
#!/bin/bash #初始化服务器的进程PId变量 user_pid=0; robot_pid=0; loadlort_pid=0; gateway_pid=0; ######### #检查相关服务器是否启动成功 #说明： #使用JDK自带的JPS命令及grep命令组合，准确查找pid #jps 加 l 参数，表示显示java的完整包路径 #使用awk，分割出pid
我的spring学习笔记5-如何使用ApplicationContext替换BeanFactory aijuans Spring 3 系列
如何使用ApplicationContext替换BeanFactory？ package onlyfun.caterpillar.device; import org.springframework.beans.factory.BeanFactory; import org.springframework.beans.factory.xml.XmlBeanFactory; import
Linux 内存使用方法详细解析 annan211 linux 内存 Linux内存解析
来源 http://blog.jobbole.com/45748/ 我是一名程序员，那么我在这里以一个程序员的角度来讲解Linux内存的使用。一提到内存管理，我们头脑中闪出的两个概念，就是虚拟内存，与物理内存。这两个概念主要来自于linux内核的支持。 Linux在内存管理上份为两级，一级是线性区，类似于00c73000-00c88000，对应于虚拟内存，它实际上不占用
数据库的单表查询常用命令及使用方法(-) 百合不是茶 oracle 函数单表查询
创建数据库; --建表 create table bloguser(username varchar2(20),userage number(10),usersex char(2)); 创建bloguser表,里面有三个字段 &nbs
多线程基础知识 bijian1013 java 多线程 thread java多线程
一．进程和线程进程就是一个在内存中独立运行的程序，有自己的地址空间。如正在运行的写字板程序就是一个进程。 “多任务”：指操作系统能同时运行多个进程（程序）。如WINDOWS系统可以同时运行写字板程序、画图程序、WORD、Eclipse等。线程：是进程内部单一的一个顺序控制流。线程和进程 a. 每个进程都有独立的
fastjson简单使用实例 bijian1013 fastjson
一.简介阿里巴巴fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法，把JSON Parse的性能提升到极致，是目前Java语言中最快的JSON库；包括“序列化”和“反序列化”两部分，它具备如下特征：
【RPC框架Burlap】Spring集成Burlap bit1129 spring
Burlap和Hessian同属于codehaus的RPC调用框架，但是Burlap已经几年不更新，所以Spring在4.0里已经将Burlap的支持置为Deprecated,所以在选择RPC框架时，不应该考虑Burlap了。这篇文章还是记录下Burlap的用法吧，主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成
【Mahout一】基于Mahout 命令参数含义 bit1129 Mahout
1. mahout seqdirectory $ mahout seqdirectory --input (-i) input Path to job input directory(原始文本文件). --output (-o) output The directory pathna
linux使用flock文件锁解决脚本重复执行问题 ronin47 linux lock　重复执行
linux的crontab命令，可以定时执行操作，最小周期是每分钟执行一次。关于crontab实现每秒执行可参考我之前的文章《linux crontab 实现每秒执行》现在有个问题，如果设定了任务每分钟执行一次，但有可能一分钟内任务并没有执行完成，这时系统会再执行任务。导致两个相同的任务在执行。例如： <? // test .php
java-74-数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 bylijinnan java
public class OcuppyMoreThanHalf { /** * Q74 数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 * two solutions: * 1.O(n) * see <beauty of coding>--每次删除两个不同的数字，不改变数组的特性 * 2.O(nlogn) * 排序。中间
linux 系统相关命令 candiio linux
系统参数 cat /proc/cpuinfo cpu相关参数 cat /proc/meminfo 内存相关参数 cat /proc/loadavg 负载情况性能参数 1）top M：按内存使用排序 P：按CPU占用排序 1：显示各CPU的使用情况 k：kill进程 o：更多排序规则回车：刷新数据 2）ulimit ulimit -a：显示本用户的系统限制参
[经营与资产]保持独立性和稳定性对于软件开发的重要意义 comsci 软件开发
一个软件的架构从诞生到成熟，中间要经过很多次的修正和改造如果在这个过程中，外界的其它行业的资本不断的介入这种软件架构的升级过程中那么软件开发者原有的设计思想和开发路线
在CentOS5.5上编译OpenJDK6 Cwind linux OpenJDK
几番周折终于在自己的CentOS5.5上编译成功了OpenJDK6，将编译过程和遇到的问题作一简要记录，备查。 0. OpenJDK介绍 OpenJDK是Sun（现Oracle）公司发布的基于GPL许可的Java平台的实现。其优点： 1、它的核心代码与同时期Sun（-> Oracle）的产品版基本上是一样的，血统纯正，不用担心性能问题，也基本上没什么兼容性问题；（代码上最主要的差异是
java乱码问题 dashuaifu java乱码问题 js中文乱码
swfupload上传文件参数值为中文传递到后台接收中文乱码在js中用setPostParams（{"tag" : encodeURI( document.getElementByIdx_x("filetag").value，"utf-8")}）; 然后在servlet中String t
cygwin很多命令显示command not found的解决办法 dcj3sjt126com cygwin
cygwin很多命令显示command not found的解决办法修改cygwin.BAT文件如下 @echo off D: set CYGWIN=tty notitle glob set PATH=%PATH%;d:\cygwin\bin;d:\cygwin\sbin;d:\cygwin\usr\bin;d:\cygwin\usr\sbin;d:\cygwin\us
[介绍]从 Yii 1.1 升级 dcj3sjt126com PHP yii2
2.0 版框架是完全重写的，在 1.1 和 2.0 两个版本之间存在相当多差异。因此从 1.1 版升级并不像小版本间的跨越那么简单，通过本指南你将会了解两个版本间主要的不同之处。如果你之前没有用过 Yii 1.1，可以跳过本章，直接从"入门篇"开始读起。请注意，Yii 2.0 引入了很多本章并没有涉及到的新功能。强烈建议你通读整部权威指南来了解所有新特性。这样有可能会发
Linux SSH免登录配置总结 eksliang ssh-keygen Linux SSH免登录认证 Linux SSH互信
转载请出自出处：http://eksliang.iteye.com/blog/2187265 一、原理我们使用ssh-keygen在ServerA上生成私钥跟公钥，将生成的公钥拷贝到远程机器ServerB上后,就可以使用ssh命令无需密码登录到另外一台机器ServerB上。生成公钥与私钥有两种加密方式，第一种是
手势滑动销毁Activity gundumw100 android
老是效仿ios，做android的真悲催！有需求：需要手势滑动销毁一个Activity 怎么办尼？自己写？不用~，网上先问一下百度。结果： http://blog.csdn.net/xiaanming/article/details/20934541 首先将你需要的Activity继承SwipeBackActivity，它会在你的布局根目录新增一层SwipeBackLay
JavaScript变换表格边框颜色 ini JavaScript html Web html5 css
效果查看：http://hovertree.com/texiao/js/2.htm代码如下，保存到HTML文件也可以查看效果： <html> <head> <meta charset="utf-8"> <title>表格边框变换颜色代码-何问起</title> </head> <body&
Kafka Rest : Confluent kane_xie kafka REST confluent
最近拿到一个kafka rest的需求，但kafka暂时还没有提供rest api（应该是有在开发中，毕竟rest这么火），上网搜了一下，找到一个Confluent Platform，本文简单介绍一下安装。这里插一句，给大家推荐一个九尾搜索，原名叫谷粉SOSO，不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了，出来之后用度娘搜技术问题，那匹配度简直感人。环境声明：Ubu
Calender不是单例 men4661273 单例 Calender
在我们使用Calender的时候，使用过Calendar.getInstance()来获取一个日期类的对象，这种方式跟单例的获取方式一样，那么它到底是不是单例呢，如果是单例的话，一个对象修改内容之后，另外一个线程中的数据不久乱套了吗？从试验以及源码中可以得出，Calendar不是单例。测试： Calendar c1 =
线程内存和主内存之间联系 qifeifei java thread
1， java多线程共享主内存中变量的时候，一共会经过几个阶段， lock:将主内存中的变量锁定，为一个线程所独占。 unclock:将lock加的锁定解除，此时其它的线程可以有机会访问此变量。 read:将主内存中的变量值读到工作内存当中。 load:将read读取的值保存到工作内存中的变量副本中。
schedule和scheduleAtFixedRate tangqi609567707 java timer schedule
原文地址：http://blog.csdn.net/weidan1121/article/details/527307 import java.util.Timer;import java.util.TimerTask;import java.util.Date; /** * @author vincent */public class TimerTest {
erlang 部署 wudixiaotie erlang
1.如果在启动节点的时候报这个错： {"init terminating in do_boot",{'cannot load',elf_format,get_files}} 则需要在reltool.config中加入 {app, hipe, [{incl_cond, exclude}]}, 2.当generate时，遇到： ERROR