Deep learning-Lecture 2

*反向传播

*Word representation

*Sequence modeling

*反向传播

Review

layer 输出关系，从a 到z的关系

从z到a的关系

输出层关系

神经网络公式

训练集的损失函数

神经网络的梯度下降

梯度下降最优化

image.png

算法最优化

神经网络的梯度下降

正向传播和反向传播

Chain Rule

神经网络梯度下降

*Word representation

文字处理领域：

Knowledge-based representation

Corpus-based representation

from nltk.corpus import wordnet as wn
pandas = wn.synset('pandas.n.01")
hyper = lamda s: s.hypernyms()
list(pandas.closure(hyper))

knowledge-based representation issues: 新词，主观性很强，注释困难，很难计算词与词之间的相似性

基于语料库的表达

^Atomic symbols: one-hot representation

有相同语义的词都有相似的neighbors

*Sequence modeling

CNN 用在影像上的信息

RNN 用在自然语言处理上

RvNN

sequence modelling: aggregate information from the input

Method

basic combination: average, sum

neural combination

CNN 擅长考虑local connections

RNN 擅长考虑时间上的信息

RvNN 擅长知道怎么组合，经常用在文字上的处理