李宏毅机器学习08brief introduction of deep learning

deep learning的三步：

1. define a set of function(neural network)
2. goodness of function
3. pick the best function

Neural Network

多个logistic regression连接起来，每一个logistic regression是一个neural，每个neural都有自己的weight和bias，集合起来构成整个network的parameter

连接方式：

最常见的fully connect Feedforward Network
neuron排成一排，weight和bias是通过training data找出来的，得出参数以后，神经网络是一个function，输入一个向量，输出一个向量

如果我们还不知道parameter，只是确定了network的structure，只是决定好这些neuron该怎么连接在一起，这样的一个network structure其实是define了一个function set，我们给这个network设不同的参数，它就变成了不同的function

只不过我们用neural network决定function set的时候，这个function set是比较大的，它包含了很多原来做Logistic Regression、做linear Regression所没有包含的function

fully connect含义：前一层与后一层之间两两连接

deep含义：many hidden layers

feedforward含义：前反馈，传递方向从前到后

matrix operation

把weight向量排列成矩阵

整个神经网络就是一连串矩阵运算，写成矩阵运算的好处是可以用GPU加速

每一个neuron里面的sigmoid function，在Deep Learning中被称为activation function(激励函数)，事实上它不见得一定是sigmoid function，还可以是其他function(tanh、softmax)

最后output layer是一个多分类的分类器

example

图像识别

  输入：256维向量
  输出：10维向量

中间神经网络结构？几层？每层多少神经元？

loss function

如何决定一组参数的好坏？

找参数使得交叉熵最小

方法：

gradient descent

back propagation

反向传播——用来计算梯度

Why deep？