Task02详读西瓜书+南瓜书第3章

前言

学习说明：预习，再看直播回放

1 一元线性回归与多元线性回归

预习：西瓜书3.1、3.2
一元线性回归直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?p=2
多元线性回归直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?p=3

<1>线性模型的优点：

形式简单，易于建模，具有很多的解释性

<2> 线性回归里面的属性值

<3>最小二乘法“参数估计”

看完南瓜书中的一元线性函数推出，内心就两个字“牛逼”！（我真菜）

​ 上面是南瓜书中的公式3.7的最后推导，之所以最后转化成了矩阵（向量）运算，是因为这样我们就可以利用诸如Numpy这种专门加速矩阵运算的类库来进行编写，这有点像深度学习中的处理图像数据中的处理，因为一张图片可以看成是一个矩阵，在弄成网络，那些链式法则，向前向后会用到，计算速度会飞快，这时不得不感叹数学真的奇妙！

<4> 极大似然估计

​ 极大似然估计就是“冥冥之中自有天意”的感觉，是由已知推未知的一种方法，距离，例如抛硬币，正反两面的概率是50%，当你抛了1万次硬币，1000次为正，9000次为反，这时你就会怀疑正反两面出现的概率为50%是错，为什么鸭？因为你看到的事实是正面出现的概率为10%，反面出现的概率为90%，你会根据现实去怀疑了

严谨公式的例题

下面这图，是解释说明了对似然函数求解做的一些变换

线性回归中的极大似然估计

线性回归模型------>误差-------->中心极限定理服从正态分布-------->联合概率密度函数-------->极大似然估计

这里用极大似然估计的方法求解线性回归中的w和b，看到西瓜书中也可以用最小二乘法来求解

最后我才发现两者是等价的，绝绝子，妙鸭！

2 对数几率回归

预习：西瓜书3.3
直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?p=4

​ 对数几率回归也叫逻辑回归，是二分类函数

<3>逻辑回归的损失函数

<4> 信息熵的概念

​ 决策树里面有这东东

<5> 相对熵的概念

相对熵里面可以求理想分布和模拟分布之前的差别，转化为一个优化问题

最小化交叉熵

<5>从极大似然函数和信息论退出的损失函数都是一样的，奇妙！

<5>总结

3 线性判别分析

预习：西瓜书3.4
直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?p=5

<1> 本节大纲

1. 算法原理（模型）

异类样本的中心尽可能远

同类样本的方差尽可能小

2.损失函数推导（策略）

二范数

内积

3.拉格朗日乘子法

日渐懵逼~~~

4.求解w（算法）

5.广义特征值和广义瑞利商

参考

Datawhale的github开源吃瓜教程项目，目的：一起吃冰西瓜

_{持续更新，还没学完}~