最小二乘法，极大似然估计，交叉熵

比较两种概率模型的差距的方法

最小二乘法

带有绝对值，在定义域上不是全程可导的，所以说通常办法就是对他们求平方。

为什么叫最小二乘法：平方就是乘2次，在这个式子中找最小的值，称之为最小二乘法。

这个最小值找到了，就是相当于神经网络中和人脑中判断猫的模型最相近的那个结果了

缺点：用这个作为损失函数非常麻烦，不适合梯度下降。

极大似然估计

似然值是真实的情况已经发生，我们假设他有很多模型，在某个概率模型下发生这种情况的可能性

当我们知道事情发生的结果，去反推产生这个结果的概率模型的时候，往往就会用到最大似然估计法。

神经网络里面的概率模型的最大似然值是接近现实情况的那个概率模型

我们想用神经网络的模型去逼近人脑中的概率模型，和这个极大似然估计的过程就非常像。在我们训练神经网络的时候，给了一堆图片（识别图片是否是猫），那这些图片是不是就类似抛出来的一个一个的硬币呢

极大似然估计，本质上就是在计算神经网络里面的概率模型的似然值，找到那个极大似然值，这个就应该是最接近现实情况的那个概率模型。

在抛硬币这个例子上，什么是现实？硬币落到地面就是现实，对于识别猫的模型上，什么是现实呢，人的判断就是现实。

交叉熵

左边是人脑模型，右边是神经网络模型，人脑模型我们对猫有一个明显的识别边界，神经网络中总会有些偏差，我们想让神经网络的模型和我们人脑中的模型尽量一致。

我们可以做一个假设，人脑的模型可以用高斯分布给完整的描述出来，一个是期望，一个是方差。我们在训练神经网络的时候，其实就是用神经网络中的各种模型去和人脑中的这个模型去匹配，匹配的方式就是调整图像尽量和它重合。神经网络课可以通过感知机的方式逼近任一一种模型。

θ这个参数是指某个概率模型，我们神经网络中就用W，b来表示。W,b确定了神经网络中概率模型的样子。现实中一个硬币是正的还是反的就代表了你输入的图片到底是不是猫。x1=1是猫，x1=0不是猫。

吴恩达的这个公式是通过极大似然估计法算出来的，而如上公式也就是交叉熵公式的由来