深度学习（花书）笔记3——参数估计、回归分析

第一部分  参数估计

1. 概率

        常见的概率类型有条件概率、先验概率、后验概率和联合概率。

1.1 条件概率

        在一系列的事件发生中，如果事件A和事件B都有可能发生，如果事件A的发生与事件B的发生之间存在着某种关系，如当事件B发生的情况下，事件A发生的概率，可以表达为P（AIB），这就是条件概率的表达公式，同时此刻的事件B的值则被称作事件A的后验概率。

1.2 先验概率

        先验概率的另一个名字叫做边缘概率，如果事件A和事件B都有发生，则P（A）可以被称为事件A的先验概率，先验概率是一种相对独立的概率，也就是说两个事件的发生没有联系，都是独立发生，事件A发生与否丝毫不影响事件B的发生。

1.3 联合概率

        联合概率是指两个事件同时发生的概率。如果事件A和事件B都有发生，则P（AB）表示A、B两个事件同时发生的概率。

2. 贝叶斯定理

        通常，事件A在事件B发生的条件下的概率，与事件B在事件A发生的条件下的概率是不一样的，但是两者之间存在着某种联系，贝叶斯定理就是对这种联系的表示。贝叶斯定理可用以下公式表示：

3. 最大似然估计

        简单来说，最大似然估计是统计学中的概率计算工具，他的主要功能主要是面对下述问题：给定一组样本数组以及一个固定模型，但是模型中的参数是未知的，通过确定这些未知参数使得模型在已知样本中的概率值最大，即确定在某种参数下已知事件的发生概率最大。

最大似然估计是知道结果的基础上求最有可能的原因。核心思想‘’已知模型，参数估计‘’

最大似然估计的主要优点包括：

（1）随着样本数量不断增加，收敛性会明显变好，越来越接近真实值。

（2）原理清晰，实现过程相对而言比较简单。

4. 最大后验估计

        在贝叶斯统计中，最大后验估计是通过经验数据对难以分析的点进行估计，相比于最大似然估计，最大后验估计引入了被估计参数的先验估计，从这个角度来看可以把最大后验估计看成最大似然估计的正则化。

        注：在看花书的参数估计知识时候发现看不懂，可能是我过于愚钝，遂找了一本相关资料查找相关知识，才算是明白这些参数估计到底是什么意思。

第二部分  回归分析

1. 线性分析

        针对自变量和因变量之间线性关系的一种回归模型，这个自变量和因变量不一定是一个，可能很多个自变量或者很多个因变量。

         如图所示在坐标轴中存在着很多的点，现在我们要做的就是用一个函数去拟合这些点，使得函数图像尽可能的接近这些散点。最小二乘法是线性回归的一种典型方法，也被称为最小平方法。最小二乘法的基本原则是最优拟合的直线应该是各个点到直线应该是各个点到直线的距离之和尽可能小，即平方和最小。最小二乘法的核心思想是通过最小化误差的平方和，试图找到最可能的函数方程。

        当数据太多时候，最小二乘法的计算量过于庞大，所以出现了很多的新版本：移动最小二乘法、加权最小二乘法和偏最小二乘法。        

2. 逻辑回归

        逻辑回归是一种分类方法，对其进行分类可分为二元逻辑回归和多元逻辑回归。对于二元逻辑回归可以解决下述的一些问题：预测用户是否购买 某个商品；判断用户评论属于正面的还是负面的。

         如图所示为逻辑回归的图形化表示，与此同时可以将多个逻辑回归的输出作为另外一个逻辑回归分类器的输入，并且让逻辑回归分类器负责输出分类任务的类别，如下图所示。