【无标题】

conclusion

Batch and Momentum在gradient decent中的运用

调节learning rate，Adagrad 、RMSProp、Adam等优化策略的机理

分类损失函数 MSE 、cross-entropy
batch normalization，制造出尽可能各方向平滑的error surface，不同feature在同一维上的值进行标准化控制在0附近，让loss function（一般用sigmoid）收敛的更快，加参数调整输出分布防止输出平均值是0给network带来负面影响

取得坏的数据集的概率，减小这个概率所对应的方法，理想损失和显示损失的差距越小越好:增大样本集、减小参数可能值的个数（导致理想崩坏）

1、深度学习optimization的方法概述
2、识别图像，引入CNN架构，从fully connection到观察局部特征，相同的respective field共享参数，虽然限制了modle 的弹性但是在影像处理上做的好

从参数filter入手介绍CNN，
通过filter来侦测图像局部pattern，得到一组数字feature map，n个filter得到多个feature map，可以当成channels为n的图片，作为下一层的输入

多叠一层spatial transformer layer来应对CNN 不具有scale invirance和rotation invariance，把每个pixel坐标化，对weight做不同的设计来做到旋转缩放，使用线性插值来应对gradient 为0，控制两个layer之间的连接方式，两层之间可以做不同的STN根据后面的network来判断如何处理

自注意力机制
举例序列单词标注的例子，使用fullyconnected network容易overfitting，让fully connected network 与 self-attention 交替使用，采用Dot-product来计算输入向量之间的关联程度，考虑到相关性有多种可能，设置不同的参数矩阵实现多头注意力机制
有个问题是体现不了输入向量的位置信息，位置编码方式有待挖掘（有种是通过人工标注来实现）

同样是处理结构性比较重要的数据，self-attention自动学习考虑的范围，比CNN模型弹性更大

看了一点recurrent neural network

二

recurrent neural network在slot filling上的运用，通过设置memory考虑前文或前后文出现的word
LSTM的机制，参数量是普通neural network的4倍
rnn通过gradient decent比较难train，gradient vanish导致原因是不同layer之间transform参数共享，导致变化累积到很大，LSTM可以缓解这个问题

word embedding在dimension deduction的运用，利用prediction-based 方法来exploit context

第一个hidden layer（事实上只有一层）的output体现我们想找的word embedding的特性
预测next word的可能性，可以拓展到看前10个左右的word，每个word的1-of-N表示vector里同一个dimension共享参数（同一个word对应的word embedding才会相同也理应相同，二来好处是input（单词数量）dimension很大，十万维，到第一层上也会有挺多的，共享参数可以防止考虑更多的context需要更多的参数）

auto-encode基本概念
，变化是有限的

用一个word来描述document不够，不能体现word之间的组合信息