deeplearning.ai 吴恩达网上课程学习（十二）——超参数调优、Batch正则化理论及深度学习框架学习

参考链接：https://www.missshi.cn/api/view/blog/5a2273939112b35ff3000002

在本文中，我们将了解一些机器学习中的超参数调优、Batch正则化及深度学习框架。

主要包括：

1. 超参数调试经验

2. 深层神经网络中隐藏层的归一化

3. Batch正则化

4. Softmax分类回归问题

5. 深度学习框架简介

1.超参数调试经验：

① 假设有两个超参数：参数1和参数2。 我们可以将两个点构成一个平面，并在平面上均匀选择一系列点，并找出其中的最优点。 在深度学习应用中，我们有时无法确定哪些超参数的影响更大，通过随机选择点，可以达到在每个维度上有更多的值进行选择，从而得到相对更好的结果。

② 从粗粒度到细粒度：首先对在整个空间中随机选择一系列点，并找出其中的相对较优点集中的区域；将该区域进行上述方法，并在该区域中中随机选择一系列点，并找出其中的相对较优点集中的区域

2. 深层神经网络中隐藏层的归一化：（对所有层的输入归一化）

对输入数据进行归一化可以有效的提升训练速度，原因在于我们将模型的最优值范围变得更加规则。

3.Batch归一化

4.Softmax分类回归问题：

Softmax是解决多分类问题的常见方法。 在前面    机器学习（七）：CS229ML课程笔记（3）——广义线性模型   学习过多分类回归模型（Softmax regression）在广义线性模型下的推导。

5.深度学习框架简介：

随着神经网络变得越来越复杂，每次自己从零开始构建网络已经变得成本越来越高。 
幸运的是，目前有很多强大的神经网络框架可以供我们直接调用。 
利用这些框架，我们将不再需要纠结于如何实现网络计算，如何进行反向传播，从而可以把更多的精力用于模型结构的设计与调优上。

目前，流程的深度学习框架有很多，如下图所示： 

每个框架都有其特点和适用的场景。同时，这些框架也在不断的改进和维护。 
那么，该如何选择框架呢？

• 易用，易编程
• 计算效率高
• 是否会长时间开源
• 支持的语言

根据这几个特点，大家可以选择自己感兴趣的框架进行学习。