深度学习导论笔记

机器学习的应用：语音识别，图像识别，下棋，对话系统

神经元：weight,bias,activation function

神经网络：输入层,隐藏层,输出层：例如softmax layer

深度学习的三个步骤：

1.NN（神经网络）

2.goodness of function (LOSS)

3.pick the best function(Gradient descent loss对于每个参数的偏导数，BP算法)

tips for training DNN

     1.损失函数choose proper loss(如MSE均方误差，交叉熵) 提升准确度

     2.mini-batch(分批计算损失，更新参数 batch_size指定每批的测试集中的examples数目) 提高 收敛速度和准确度

     3.选择合适的激活函数（如sigmoid，ReLU）

    4.learning rate

    5.momentum 优化器optimizer

recipes:

1.have more training data

2.early stopping

3.weight decay(萎缩)

4.drop out(去掉一些神经元)

5.Network Structure(如CNN)

CNN卷积神经网络：   http://blog.csdn.net/loving_forever_/article/details/52389862

RNN循环神经网络：http://blog.csdn.net/qq_39422642/article/details/78676567

应用：

CNN：图像识别，playing Go

RNN:自然语言处理