机器学习相关知识点整理【更新中】

---

一、前言

此文章记录一些机器学习的相关知识点、公式及书写方法

---

二、参考文献

1. KaTeX库 文档 https://katex.org/docs/supported.html
2. 王木头b站视频 https://space.bilibili.com/504715181
3. 李沐b站视频 https://space.bilibili.com/1567748478

---

三、知识点及公式

1.线性回归

$$y=wx+b$$

---

2.sigmoid函数

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

---

3.逻辑回归

$$\sigma (x)=\frac{1}{1+e^{-(wx+b)}}$$

---

4.基尼指数

$$Gini\_index(D,a)=\sum _{v=1}^V\frac{D^v}{D}Gini(D^v)$$

---

5.基尼值

$$Gini(D)=1-\sum _{k=1}^{|y|}{P}_k^2$$

---

6.联合概率公式

$$P(AB)=P(B|A_i)\ast P(A_i)$$

ps：

1. $P(B|A_i)$：表示$A_i$事件已发生时，$B$事件发生的概率
2. $P(AB)$：表示A、B事件的联合概率【A、B同时发生的概率】

---

7.全概率公式

$$P(B)=\sum _{k=1}^{n}P(B|A_k)\ast P(A_k)$$

ps：

1. $P(B)$：表示B事件的发生概率【全概率】

---

8.贝叶斯公式

$$P(A_i|B)=\frac{P(AB)}{P(B)}=\frac{P(B|A_i)\ast P(A_i)}{\sum _{k=1}^{n}P(B|A_k)\ast P(A_k)}$$

ps：

1. $P(A_i)$：先验概率【事件还没有发生时，根据以往经验和分析得到的事件发生概率概率】，比如掷骰子结果为3的概率是六分之一
2. $P(A_i|B)$：后验概率【事件已经发生，但事情发生可能有多个原因，判断事件由哪个原因引起的概率】，比如你坐在马桶上分析今天窜稀的原因是吃了那种水果
3. $P(B|A_i)$：似然概率

---

9.求向量的模【$L2$范数】

$$设：A=[a_1,a_2,...a_n]$$
$$则：|A|=\sqrt{a_1^2+a_2^2+...+a_n^2}=\sqrt{\sum _{i=1}^n{a}_i^2}$$

---

10.向量内积

$$设：A=[a_1,a_2,...a_n]，B=[b_1,b_2...b_n]$$
$$则：A\cdot B=|A||B|\cos \theta =a_1\ast b_1+a_2\ast b_2+...+a_n\ast b_n=\sum _{i=1}^n{a}_i\ast b_i$$

---

11.向量的余弦相似度

$$设：A=[a_1,a_2,...a_n]，B=[b_1,b_2...b_n]$$
$$则：\begin{array}{rl}similarity& =\cos (\theta )=\frac{向量的内积}{向量模的乘积}=\frac{向量的内积}{向量L2范数的乘积}\\ & =\frac{A\cdot B}{|A||B|}=\frac{\sum _{i=1}^n{a}_i\ast b_i}{\sqrt{\sum _{i=1}^n{a}_i^2}\ast \sqrt{\sum _{i=1}^n{b}_i^2}}\end{array}$$

---

12.似然函数

$$P(x_1,x_2,x_3...x_n|\theta )=\prod _{i=1}^{n}P(x_i|\theta )$$

ps：

1. 似然值定义：当假设（概率模型$\theta$）为真时所得到的样本观察结果出现的概率。如果P值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。
   举例：
   1. 假设抛硬币正、反的概率分别为0.1、0.9，真实观察10次结果为4正6反，那么
      $P_1=0.1^4\ast 0.9^6=5.314410000000001e-05$
   2. 假设抛硬币正、反的概率分别为0.3、0.7，真实观察10次结果为4正6反，那么
      $P_2=0.3^4\ast 0.7^6=9.529568999999997e-04$
   3. $P_2>P_1$，所以我们可以拒绝第一种假设，保留第二种

---

13.伯努利分布

如果随机变量X只取0和1两个值，并且相应的概率为：
$$Pr(X=1)=p,Pr(X=0)=1-p,0<p<1$$
则称随机变量X服从参数为p的伯努利分布，X的概率函数可写为：
$$f(x|p)=p^x(1-p{)}^{1-x}=\{\begin{array}{ll}p& x=0\\ 1-p& x=1\\ 0& x/=0,1\end{array}$$
令q=1一p的话，也可以写成下面这样：
$$f(x|p)=\{\begin{array}{ll}{p}^x{q}^{1-x}& x=0,1\\ 0& x/=0,1\end{array}$$

ps：

1. 定义：伯努利分布指的是对于随机变量X有, 参数为p(0

2. 什么样的事件遵循伯努利分布：任何我们只有一次实验和两个可能结果的事件都遵循伯努利分布【例如：抛硬币、猫狗分类】

---

14.信息量

某个事件发生的信息量可以定义成如下形式

$$F(p)=-{\log }_{2}p$$

ps：

1. $p$：当前事件发生的概率
2. $F(p)$的单位是比特

---

15.熵

对概率系统 $P$ 求熵 $H$ 可定义为对系统 $P$ 求信息量 $f$ 的期望
$$\begin{array}{rl}H(P):& =E(P_f)\\ & =\sum _{i=1}^m{p}_i\ast f(p_i)\\ & =\sum _{i=1}^m{p}_i(-lo{g}_2{p}_i)\\ & =-\sum _{i=1}^m{p}_i\ast lo{g}_2{p}_i\end{array}$$
系统熵的求解过程简单来说，就是把系统里面所有 可能发生事件的信息量 $-lo{g}_2{p}_i$ 求出来然后和这个 事件发生的概率 $p_i$ 相乘，最后把这些 结果 $-lo{g}_2{p}_i\ast p_i$ 相加，得到的就是这个系统的熵

ps：

1. 熵的定义：衡量一个系统从原来的不确定到确定，难度有多大【系统趋于稳定的难度有多大】，简单来说就是衡量一个系统的混乱程度，混乱程度越小，系统越稳定，结果置信度越高
   信息量的定义：与熵类似，时衡量一个事件从原来的不确定到确定，难度有多大【系统中某个事件趋于稳定的难度有多大】
   举例：
   1. 一个预测中国乒乓球是否夺冠的系统，熵就很小，因为它输出稳定、置信度高
   2. 一个抛硬币的系统，熵就很高，因为它混乱程度高、输出不稳定

---

16.相对熵【KL散度】

相对熵用于计算两个系统之间的熵的差距，公式如下：

$$\begin{array}{rl}{D}_{KL}(P||Q):& =\sum _{i=1}^m{p}_i\ast (f_Q(q_i)-f_P(p_i))\\ & =\sum _{i=1}^m{p}_i\ast ((-{\log }_2{q}_i)-(-{\log }_2{p}_i))\\ & =\sum _{i=1}^m{p}_i\ast (-{\log }_2{q}_i)-\sum _{i=1}^m{p}_i\ast (-{\log }_2{p}_i)\\ & =H(P,Q)-H(P)\end{array}$$

ps：

1. $D_{KL}(P||Q)$：表示以$P$系统为基准，计算$Q$与$P$的熵的差距
2. $f_Q(q_i)-f_P(p_i)$：代表某件事在$Q$系统中的信息量减去此事件在$P$系统中的信息量
3. $q_i$：表示当前事件在$Q$系统发生的概率，$p_i$：表示当前事件在$P$系统发生的概率
4. $H(P)$：就是P系统的熵
5. $H(P,Q)$：就是P系统的交叉熵
6. 交叉熵 $H(P,Q)$ 永远大于 熵 $H(P)$【可根据吉布斯不等式求出】
7. 当以 $P$ 系统为基准求 $P、Q$ 两系统的相对熵 $D_{KL}(P||Q)$ 时，$H(P)$ 是固定的，$H(P,Q)$ 又一定大于 $H(P)$，所以$H(P,Q)$ 越小相对熵越小，因此相对熵的大小取决于交叉熵 $H(P,Q)$， 交叉熵越小，系统 $P$ 越接近于 $Q$，这就是交叉熵可以作为损失函数的原因
8. $\sum _{i=1}^m$ 中的事件数量 $m$ 取两个系统中事件数量较多的那个即可，因为如果某个事件在 $Q$ 系统中存在，在 $P$ 系统中不存在，那么该事件在 $P$ 系统中的概率 $p_m=0$， $P$ 系统中的信息量就是 $0$ ，那么m事件的信息差 $M=f_Q(q_m)-f_P(p_m)=f_Q(q_m)$ ，受该事件影响，最终求出的相对熵也就距 $0$ 越远【因为 $Q$ 系统中多出了一个无关紧要的事件，导致 $P$ 和 $Q$ 的相似度变低，这很河里（旺柴）】

---

17.交叉熵

基本公式如下
$$H(P,Q)=\sum _{i=1}^m{x}_i\ast (-{\log }_2{y}_i)$$
考虑正反两面的情况后可以写成如下形式
$$H(P,Q)=-(\sum _{i=1}^n(x_i\ast {\log }_2{y}_i+(1-x_i)\ast {\log }_2(1-y_i)))$$

---

18.泰勒公式

待补充…

参考视频
https://www.bilibili.com/video/BV1WX4y1g7bx

---

todo…