1.3 统计学习方法的三要素

统计学习方法的三要素为 模型+策略+算法

---

监督学习的三要素

模型

假设空间(Hypothesis Space）：所有可能的条件概率分布或决策函数，用$\mathcal{F}$表示。

• 若定义为决策函数的集合：$\mathcal{F}=\{f\mid Y=f(X)\}$
• $\mathcal{F}$由一个参数向量决定的函数族构成：$$\mathcal{F}=\left\{f\mid Y=f_{\theta }(X),\theta \in {\mathbf{R}}^n\right\}$$
• 参数空间：$\Theta =\left\{\theta \mid \theta \in {\mathbf{R}}^n\right\}$

例如，线性回归：

• 实例：$x={\left(x^{(1)},x^{(2)},\cdots ,x^{(n)}\right)}^T$
• 决策函数：$f(x)=w^{(1)}{x}^{(1)}+w^{(2)}{x}^{(2)}+\cdots +w^{(n)}{x}^{(n)}+b$
• 向量形式：$f(x)=w\cdot x+b$，其中，$w=\left(w^{(1)},w^{(2)},\cdots ,w^{(n)}\right)$
• 参数空间：所有可能的w和b组合的一个空间

• 若定义为条件概率的集合：$\mathcal{F}=\{P\mid P(Y\mid X)\}$
• $\mathcal{F}$由一个参数向量决定的条件概率分布族构成：$$\mathcal{F}=\left\{P\mid P_{\theta }(Y\mid X),\theta \in {\mathbf{R}}^n\right\}$$

例如，逻辑回归：

• 实例：$x={\left(x^{(1)},x^{(2)},\cdots ,x^{(n)}\right)}^T$
• 条件概率分布：$$\{\begin{array}{l}P(Y=1\mid x)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)}\\ P(Y=0\mid x)=\frac{1}{1+\exp (w\cdot x+b)}\end{array}$$

---

策略

损失函数：度量模型一次预测的好坏，记作$L(Y,f(X))$

• 0-1损失函数：$L(Y,f(X))=\{\begin{array}{ll}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}$
• 平方损失函数：$L(Y,f(X))=(Y-f(X){)}^2$
• 绝对损失函数：$L(Y,f(X))=|Y-f(X)|$
• 对数损失函数：$L(Y,P(Y\mid X))=-\log P(Y\mid X)$

风险函数：度量平均意义下模型预测的好坏$$\begin{array}{rl}{R}_{\exp }(f)& =E_P[L(Y,f(X))]\\ & ={\int }_{\mathcal{X}\times \mathcal{Y}}L(y,f(x))P(x,y)dxdy\end{array}$$
经验风险：模型f(X)关于训练集的平均损失$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)$$其中训练集$T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right)\cdots ,\left(x_N,y_N\right)\right\}$

当$N\to \infty$ 时，根据大数定律，经验损失就会趋于风险函数，所以在一定程度上，用经验损失作为风险函数的估计是合理的

$$R_{\text{emp }}(f)=\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)⟶R_{\exp }(f)=E_P[L(Y,f(X))],N\to \infty$$$$\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)$$
但在现实生活中，样本容量N一般是有限的，甚至会很小，所以仅仅用经验风险来估计风险函数，效果并不理想，所以需要对其进行矫正

结构风险：
$$R_{srm}=\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$
结构风险最小化：
$$\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$

无监督学习

• 模型：函数$z=g_{\theta }(x)$，条件概率分布$P_{\theta }(z\mid x)$或条件概率分布$P_{\theta }(x\mid z)$
• 策略：优化目标函数
• 算法：通常是迭代算法

注：以上笔记素材来自于 [B站_简博士_十分钟 机器学习 系列视频 《统计学习方法》]