李宏毅机器学习P13+P5+6+7+8+9(21版)学习笔记
P13深度学习
1.神经网络
由不同的逻辑回归函数（不同权重和偏差）连接而成不同结构
输入层（Input Layer）：1层
隐藏层（Hidden Layer）：N层
输出层（Output Layer）：1层
Fully Connect Feedforward network
Fully Connect：layer1与layer2之间两两都有连接。
传递的方向是单向，由后往前传，所以叫Feedforward。
深度学习能表达出更多情况：
一个神经网络的权重和偏差已知，则可以看作一个函数：输入是向量，输出也是向量。
回归模型和逻辑回归都是定义了一个函数集，给神经网络结构的参数设置为不同的数，
就是不同的函数，结合为函数集，这个函数集较大，是回归模型无法包含的函数。
Deep = Many hidden layer
随着层数变多，错误率降低，随之运算量增大，因此引入矩阵计算加速运算
矩阵计算（激活函数）方法：σ（权重w * 输入+ 偏移量b）= 输出
矩阵运算优点：可以使用GPU加速
本质：通过隐藏层进行特征转换。
特征提取用隐藏层替代原特征工程，最后一个隐藏层输出为新特征（相当于黑箱操作）
把前面的隐藏层的输出当做输入（经过特征提取得到的一组最好的特征），通过一个多分类器得到最后的输出y。
问题
多少层？ 每层有多少神经元？ 尝试加上直觉
对于有些机器学习相关的问题，我们一般用特征工程来提取特征，
对于深度学习，我们只需要设计神经网络模型来进行就可以了
结构可以自动确定吗？ 有很多设计方法可以让机器自动找到神经网络的结构的，如进化人工神经网络，但并不普及
可以设计网络结构吗？可以，比如 CNN卷积神经网络
2.模型评估
对于神经网络，采用交叉熵（cross entropy）函数来对损失进行计算
3.选择最优函数
用梯度下降找最优函数和最优参数
P5 training失败及解决1
gradient为0的点，称为critical point，其中有很多可能，导致无法继续优化
用泰勒级数近似计算鉴别critical point的种类(local minima/maxina/saddle point)
P6 training失败及解决2
Batch:是否采用batch进行训练，训练资料分为N个batch,进行训练。
在large和small batching的testing准确率类似的时候，small batch的testing值更好。
结论：
LB和SB时间在一定size内，差距很小
LB梯度下降更平稳
SB的最优化值更好
SB的Generalization更好
SB易得到Flat Minima(较好)；LB易得到Sharp Minima
Momentum动量:
gradient method+momentum：计算参数θ的时候，g反方向+前一步方向调整参数
优点：每一次迭代，都会更接近最优解。有几率不停留在local minima和maxina，因为不只有g的方向，还有前一步的动量。
缺点：算法稳定性变差，出现了一些震荡。算法也不再保证目标函数单调下降。momentum是外插值。
P7 training失败及解决3
training stuck ≠ small gradient，训练卡住/loss不再下降的时候，并非到达了critical point或者saddle point
自适应学习率：不同参数需要不同的学习率，Adaptive learning rate
RMSProp：在计算parameter dependent部分中σ时，给之前和现在计算的g不同的权重。解决同一参数不用时期需要不同学习率的问题
Adam:RMSProp+Momentum-用得较多：计算θ和σ时，都考虑前一个g
learning rate scheduling学习率η随时间有关:
1.learning rate decay(随时间逐渐下降）
2.warm up（先变大再变小），在统计数据获取的时候，最初不太精准，需要一定时间先变得较为精准，再进行统计数据。
P8 training失败及解决4
Classification as Regression:将种类用数字表示，但若用1，2，3表示，那么既就有亲疏关系，不太好，解决方法是，用向量[0,0,1],[0,1,0]等表示不同分类，这样就可以解决。
Classification: input x output y,使softmax(y)得到y',使y'接近y^【softmax使ynormalize,classification需要的范围】
loss function可以改变training的难度：
Loss of Classification(e=y^- y')的表示方式：Mean Square Error(MSE)，Cross-entropy（win），Minimizing Cross-entropy is equivalent to maximizing likelihood
P9 training失败及解决5
Feature Normalization：使不同的demonsion范围接近。
在training时标准化参数或者加权后的参数，这会造成很大的计算量，因为一个参数的改变会改变全局，实际上，考虑一个big sized的batch进行Normalization比较合适。
在testing的时候，数据不足，未达到batch标准，做Normalization的参数会随数据的增多使用其移动平均数。