错题回顾
测试数据集不可以用来调整模型参数，如果使用测试数据集调整模型参数，可能在测试数据集上发生一定程度的过拟合，此时将不能用测试误差来近似泛化误差。
知识点总结
训练误差：是指模型在训练数据集上表现出来的误差
泛化误差：是指模型在任意一个测试样本上表现出的误差的期望，并通常通过测试数据集的误差来近似
机器学习模型越简单，良好的实证结果就越有可能不仅仅基于样本的特性。——奥卡姆剃刀定律
泛化边界：统计化描述模型根据以下因素泛化到新数据的能力：
- 模型的复杂程度
- 模型在处理训练数据方面的表现
以下三项基本假设阐明了泛化：
我们从分布中随机抽取独立同分布 (i.i.d) 的样本。换言之，样本之间不会互相影响。（另一种解释：i.i.d. 是表示变量随机性的一种方式）。
分布是平稳的；即分布在数据集内不会发生变化。
我们从同一分布的数据划分中抽取样本。
在实践中，我们有时会违背这些假设。例如：
想象有一个选择要展示的广告的模型。如果该模型在某种程度上根据用户以前看过的广告选择广告，则会违背 i.i.d. 假设。
想象有一个包含一年零售信息的数据集。用户的购买行为会出现季节性变化，这会违反平稳性。
如果违背了上述三项基本假设中的任何一项，那么我们就必须密切注意指标。
过拟合的解决方案
欠拟合：根本原因是特征维度过少，模型过于简单，导致拟合的函数无法满足训练集，误差较大；
解决方法：增加特征维度，增加训练数据；
过拟合：根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。 过度的拟合了训练数据，而没有考虑到泛化能力。
过拟合模型在训练过程中产生的损失很低，但在预测新数据方面的表现却非常糟糕。
过拟合是由于模型的复杂程度超出所需程度而造成的。机器学习的基本冲突是适当拟合我们的数据，但也要尽可能简单地拟合数据。
解决方法：（1）减少特征维度；（2）正则化，降低参数值。
减少过拟合总结：过拟合主要是有两个原因造成的：数据太少+模型太复杂
（1）获取更多数据 ：从数据源头获取更多数据；数据增强（Data Augmentation）
（2）使用合适的模型：减少网络的层数、神经元个数等均可以限制网络的拟合能力；
（3）dropout ；
（4）正则化，在训练的时候限制权值变大；
（5）限制训练时间；通过评估测试；
（6）增加噪声 Noise： 输入时+权重上（高斯初始化） ；
（7）数据清洗(data ckeaning/Pruning)：将错误的label 纠正或者删除错误的数据。
（8）结合多种模型： Bagging用不同的模型拟合不同部分的训练集；Boosting只使用简单的神经网络；
权重衰减：L2范数正则化（增加惩罚项）
丢弃法：不改变期望值
循环神经网络RNN
循环神经网络（Recurrent Neural Network, RNN）是一类以序列（Sequence）数据为输入，在序列的演进方向进行递归（Recursion）且所有节点（循环单元）按链式连接的递归神经网络（Recursive Neural Network）。
对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习（Deep Learning）算法之一 ，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory Networks，LSTM）是常见的的循环神经网络。
循环神经网络具有记忆性、参数共享并且图灵完备（Turing Completeness），因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络在自然语言处理（Natural Language Processing, NLP），例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络（Convoutional Neural Network,CNN）构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。
简单循环网络（Simple Recurrent Network,SRN)
SRN是仅包含一组链式连接（单隐含层）的循环神经网络，其中循环单元-循环单元连接的微Elman网络，闭环链接的为Jordan网络。对应的递归方式为：
Elman:,
Jordan: ,
和为激励函数，例如逻辑斯蒂函数或双曲正切函数。SRN在提出时使用BPTT进行监督学习，但不包含任何优化理论，因此无法学习长距离依赖 [44] ，在现代的机器学习问题中很少直接使用
错题归纳与知识点总结
GRU
用以处理循环神经网络里梯度消失的问题
- 重置⻔有助于捕捉时间序列⾥短期的依赖关系；
- 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。
LSTM
长短期记忆long short-term memory:
遗忘门:控制上一时间步的记忆细胞 输入门:控制当前时间步的输入
输出门:控制从记忆细胞到隐藏状态
记忆细胞：⼀种特殊的隐藏状态的信息的流动