文本预处理
建立字典
记一个文本预处理需要用到的字典，学习一下python
class Vocab(object):
def __init__(self, tokens, min_freq=0, use_special_tokens=False):
counter = count_corpus(tokens) # :
self.token_freqs = list(counter.items())
self.idx_to_token = []
if use_special_tokens:
# padding, begin of sentence, end of sentence, unknown
self.pad, self.bos, self.eos, self.unk = (0, 1, 2, 3)
self.idx_to_token += ['', '', '', '']
else:
self.unk = 0
self.idx_to_token += ['']
self.idx_to_token += [token for token, freq in self.token_freqs
if freq >= min_freq and token not in self.idx_to_token]
self.token_to_idx = dict()
for idx, token in enumerate(self.idx_to_token):
self.token_to_idx[token] = idx
def __len__(self):
return len(self.idx_to_token)
def __getitem__(self, tokens):
if not isinstance(tokens, (list, tuple)):
return self.token_to_idx.get(tokens, self.unk)
return [self.__getitem__(token) for token in tokens]
def to_tokens(self, indices):
if not isinstance(indices, (list, tuple)):
return self.idx_to_token[indices]
return [self.idx_to_token[index] for index in indices]
def count_corpus(sentences):
tokens = [tk for st in sentences for tk in st]
return collections.Counter(tokens) # 返回一个字典，记录每个词的出现次数
语言模型
n元语法和马尔可夫假设
马尔可夫假设：一个词的出现只与前面n个词有关
基于统计的语言模型：n元语法
马尔可夫链
n元模型的缺陷
1.参数空间大
p(w1)p(w2|w1)p(w3|w1,w2)
v + v**2 + v**3
2.数据稀疏
齐夫定律：大多数单词的频率很小
循环神经网络
基于n元模型的理论，避免缺陷
时序数据：时序数据的一个样本通常包含连续的字符
采样方式：随机采样和相邻采样。
随机采样和相邻采样示例（来自评论区）
听完课之后总结了一下随机采样和相邻采样，并且花了点时间画了一下自己理解的原理图，如果有错误请大家指出来。
0I3BsBmshG3xRWggUDH4v.jpg
本次课程中，讲课的老师讲的非常的详细，包括前面语言模型，N元模型，都非常的清楚。
建议第一次没有看懂的同学多看几次。
循环神经网络
循环神经网络
image
梯度衰减或梯度爆炸
反向传播方式：通过时间反向传播，BPTT（针对循环层的训练算法）
梯度是幂的形式，指数是时间步数
应对方法：裁剪梯度（只能应对梯度爆炸）
\min\left(\frac{\theta}{|\boldsymbol{g}|}, 1\right)\boldsymbol{g}
超参数
在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。 通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
epoch
深度学习中 number of training epochs 中的 epoch到底指什么？
回答一
epoch：1个epoch表示过了1遍训练集中的所有样本。
RNN的state
定义模型RNN中的state维护一些状态，都是维护哪些状态，这些状态具体什么作用和效果呢？
对于RNN来讲，就是隐藏状态H，因为RNN在计算H_{t}时会用到H_{t-1}，所以需要维护这个状态