深度学习小白笔记（白话机器学习的数学03）

《白话机器学习的数学》笔记03

目前以立石贤吾的《白话机器学习的数学》一书来作为深度学习的入门基础第一本参考书。意在了解机器学习与深度学习中所用到的基础数学知识与数学模型。

评估

回归评估

一个良好的模型，不能只看训练数据的拟合程度，更重要的是对测试数据的拟合。

所以我们考虑根据一个指标来评估模型的拟合程度，即误差的平均数，也被称为均方误差（MSE）。

分类评估

接下来我们来看分类的评估，回归考虑的是与真实答案的偏差，分类考虑的则是分类是否正确。
接下来是几个用来进行评估的参数，看图片即可。


精确率，指是在被分类为 Positive 的数据中，实际就是 Positive 的数据所占的比例

召回率，指在Positive 数据中，实际被分类为 Positive 的数据所占的比例

不过一般来说，精确率和召回率会一个高一个低，所以需要取舍，就引出了另一个评估指标，F值，也即调和平均值，精确率和召回率只要有一个低，就会拉低 F值。

将上式变形为下式，就可将其称为F1值

而将F1值改为权重，即为权重F值。

注意，以上指标的公式都以TP为主，一般当数据不平衡时，使用数量少的那个进行评估会更好。

交叉验证

全部训练数据分为测试数据和训练数据的做法称为交叉验证。比较有名的是 K 折交叉验证，流程为：
● 把全部训练数据分为 K 份
● 将 K − 1 份数据用作训练数据，剩下的 1 份用作测试数据
● 每次更换训练数据和测试数据，重复进行 K 次交叉验证
● 最后计算 K 个精度的平均值，把它作为最终的精度

正则化

一般将只能拟合训练数据的状态称为过拟合，而避免过拟合的方法主要有三种，增加全部训练数据的数量，使用简单的模型，正则化。
正则化如下式所示，在原本的目标函数后添加一个正则化项成为新的目标函数。λ 是决定正则化项影响程度的正的常数。应该注意到，正则化项是从θ₁开始而非θ₀，这是因为θ₀这种只有参数的项称为偏置项，一般不对它进行正则化。

正则化的目的可以参考如下例子，最初学回归时所知目标函数为开口向上函数，此处我们只考虑θ₁参数，而正则化项最简单的则为于0.5·θ₁²，两者曲线如下图。

而加上正则项的新目标函数如下图，可见达到原目标函数最小值的θ₁更接近0了。

由此可见正则化的效果，它可以防止参数变得过大，有助于参数接近较小的值，意味着该参数的影响也会相应地变小。这正是通过减小不需要的参数的影响，将复杂模型替换为简单模型来防止过拟合的方式。 λ则为控制正则化对参数惩罚的强度。上文所提到的正则化称为L2正则化，如下为L1正则化。L1 正则化的特征是被判定为不需要的参数会变为 0，从而减少变量个数。而 L2 正则化不会把参数变为 0。

学习曲线

第一幅图为欠拟合，第二幅图为过拟合。

本书的理论内容到此就结束了。