pytorch--task02--rnn，文本预处理

PyTorch—Nlp

• 学习中的笔记心得

一、文本预处理

1.分词
有一些现有的工具可以很好地进行分词，我们在这里简单介绍其中的两个：spaCy和NLTK。

text = "Mr. Chen doesn't agree with my suggestion."
import spacy
nlp = spacy.load('en_core_web_sm')
doc = nlp(text)
print([token.text for token in doc])
#输出
#['Mr.', 'Chen', 'does', "n't", 'agree', 'with', 'my', 'suggestion', '.']

from nltk.tokenize import word_tokenize
from nltk import data
print(word_tokenize(text))

二、语言模型

简言之：用上文预测下文
（1）n元语言模型
p(w1,w2,w3,w4) = p(w1) p(w2|w10) p(w3|w1w2) p(w4|w1w2w3)

  n元语法可能存在的缺陷：

• 参数空间过大 （v* v^2 )
• 数据稀疏     (一些词的词频低，会出现大量为0的数)

（2）数据处理

def load_data_jay_lyrics():
    with open('/home/kesci/input/jaychou_lyrics4703/jaychou_lyrics.txt') as f:
        corpus_chars = f.read()
    corpus_chars = corpus_chars.replace('\n', ' ').replace('\r', ' ')
    corpus_chars = corpus_chars[0:10000]
    idx_to_char = list(set(corpus_chars))          #索引到字符的映射
    char_to_idx = dict([(char, i) for i, char in enumerate(idx_to_char)])  #字符到索引的映射
    vocab_size = len(char_to_idx)    #字典大小
    corpus_indices = [char_to_idx[char] for char in corpus_chars]    #词-->索引
    return corpus_indices, char_to_idx, idx_to_char, vocab_size

（3）时序数据的采样

  假设时间步数为5，样本序列为5个字符，即“想”“要”“有”“直”“升”。该样本的标签序列为这些字符分别在训练集中的下一个字符，即“要”“有”“直”“升”“机”，即 X =“想要有直升”, Y =“要有直升机”。

1. 随机采样
2. 相邻采样
   [0,1,2,10] 训练数据中总共有11个样本，而批量大小为2，所以数据集会被拆分成2段，每段包含5个样本：[0, 1, 2, 3, 4]和[5, 6, 7, 8, 9]，而时间步数为2，所以第二个批量为[2, 3]和[7, 8]。

三、循环神经网络

  下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量$H$，用$H_t$表示$H$在时间步$t$的值。$H_t$的计算基于$X_t$和$H_{t-1}$，可以认为$H_t$记录了到当前字符为止的序列信息，利用$H_t$对序列的下一个字符进行预测。

Woh Whh Wxh 共享

1、循环神经网络的构造

我们先看循环神经网络的具体构造。假设${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$是时间步$t$的小批量输入，${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$是该时间步的隐藏变量，则：

$${\mathbf{H}}_t=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h).$$

其中，${\mathbf{W}}_{xh}\in {\mathbb{R}}^{d\times h}$，${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$，${\mathbf{b}}_h\in {\mathbb{R}}^{1\times h}$，$\varphi$函数是非线性激活函数。由于引入了${\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}$，$H_t$能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。由于$H_t$的计算基于$H_{t-1}$，上式的计算是循环的*（H2的计算，依靠H1）*，使用循环计算的网络即循环神经网络（recurrent neural network）。

在时间步$t$，输出层的输出为：

$${\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q.$$

其中${\mathbf{W}}_{hq}\in {\mathbb{R}}^{h\times q}$，${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$。

参考资料：【子豪兄】2019最新版CS231N计算机视觉公开课精讲

四、模型选择、过拟合和欠拟合

1、训练误差和泛化误差
我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。

机器学习模型应关注降低泛化误差。
2、测试集
从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）
3、模型复杂度

a、训练样本不足（过拟合）
解决方法：L2 范数正则化（regularization），参数惩罚
     丢弃法