吴恩达老师深度学习笔记第二课（第三周）

第三周超参数调整，Batch正则化和程序框架

3.1调试处理
对于超参数而言，你要如何找到一套好的设定呢？分享一些指导原则，一些关于如何系统地组织超参数调试过程的技巧。
如何使用mpmentum或Adam的优化算法的参数，α，β β1，β2，ε，#layers，#hidden limits，learning rate decay，你可能需要选择Mini-batch，结果证实，一些超参数比其他的更为重要。
我认为最广泛的学习应用是α，学习速率是需要调试的最重要的超参数，除了α还有一些参数需要调试，例如momentum，0.9就是一个很好的默认值有时也可以调试mini-batch的大小，以确保最优算法运行有效。我还会调试隐藏单元
当应用Adam算法时，事实上，几乎很少调试β1，β2和ε总是将其设定为·0.9,0.999和10^（-8）
超参数搜索

3.2为超参数选择合适的范围
①随机取值并不是在有效范围内的随机均匀取值，而是选择合适的标尺，用于探究这些超参数，这很重要，

3.3超参数训练的实践：Pandas VS Caviar

3.4 正则化网络的激活函数
①batch归一化会使你的参数搜索问题变得容易，使神经网络对超参数的选择更加稳定（它适用的归一化过程不只是输入层，甚至同样适用于神经网络中的深度隐藏层）
使隐藏单元值的均值和方差标准化即z¹ 有固定的均值和方差

完成z值的标准化，化为含平均值0和标准单位方差，所以z的每一个分量都含有平均值0和方差1，
Y和β是模型的学习参数，Y和β的作用是你可以随意设置Z的平均数

3.5将 Batch Norm 拟合神经网络
我没看懂
batch归一化是发生在计算z和a之间的，直观感受就是，与其应用没有归一化的z值，不如使用归一化的z^~
我听不懂我放弃了

3.6Batch Norm为什么奏效
①通过归一化所有输入特征值X，以获得类似范围的值，可以加速学习
②它可以是权重，比你的网络更滞后或者更深层
主要帮助理解batch归一化的工作，但是我并没有理解。batch一次只可以处理一个mini-batch 他在mini-batch上计算均值和方差
3.7 测试时的Batch Norm
batch Norm（batch归一化） 将你的数据以mini-batch的形式逐一处理

3.8 Softmax回归
二元分类：答案为是1或者不是0
有一种logistic回归的一般形式 叫做Softmax回归


3.9训练一个Softmax分类器

3.10深度学习框架

②选择框架的标准
便于编程：既包括神经网络开发和迭代，还包括为产品进行配置。
运行速度：特别是训练大数据集时，一些框架能让你更高效地运行和训练神经网络
这个框架是否真的开放：需要开源和良好的管理
3.11 TensorFlow

主要内容：Tensorflow的基本结构和敲了一点点代码

---

1. i ↩︎