机器学习（九）归纳总结DLC

一、机器学习的概念

机器学习的三要素：模型、学习准则、优化算法

        1.模型

                模型分为线性和非线性

                        线性：        其中均为向量

                        非线性：       为多个非线性基函数的组合

                神经网络h(x)即可视为，包含权重向量和偏置b

        2.学习准则

                一个好的模型可以使得对于给定的x来说，预测的y与真实映射一致；所以其误差描述为：，即其对于真实概率分布的误差为：

                模型的好坏可通过期望风险来表示

                但实际上期望风险是无法计算的，一般以经验风险代替它，即训练集上的平均损失为：

                                使经验风险最小化即机器学习的目标。

                为了对抗过拟合，可以在经验风险最小化的基础上使用正则化，其目的是限制模型的能力。转换为公式为：

                        为l2范数的正则化项，用于控制正则化强度。

                        Tips.范数

L0范数	非0元素之和		比较难计算
L1范数	元素绝对值之和	可以进行特征选择	会产生稀疏
L2范数	元素平方和再开平方根	可以防止过拟合，提升模型泛化能力	不会产生稀疏

                几种常见的损失函数：

                        0-1损失函数：预测准确=0，预测不准=1

                        平方损失函数：

                        交叉熵损失函数：

                        Hinge损失函数：

        3.优化算法

                超参数：用来定义模型结构/优化策略，这类参数比较难用算法优化。

                梯度下降：最常见，最简单的优化算法，其可以通过迭代计算训练集D上的风险函数最小值：        称学习率。

                其推导过程如下：

                 提前停止：防止过拟合，在验证集上错误率下降都某种程度后需要提前终止训练。

                 随机梯度下降：区别于批量梯度下降（将整个训练集作用于风险函数），每次迭代仅计算仅采集一个样本。

                下批量梯度下降：每次计算取一部分样本。

二、线性回归

        线性回归的模型可以表述为：        为权重向量，x为特征向量。

                可以简化为        将偏置整合进中（进行增广）

优化方法

        经验风险最小化：风险函数可以理解为求预测值和真实值之间的标准差。

                        

                对其求偏导且令其=0，。具体公式可见上方推导

        结构风险最小化：当矩阵不可逆时使用，通过加入常数使得可逆，从而使得目标函数可以写成

        最大似然：x，y之间除了满足未知函数h(x)外，还可满足条件概率p(y|x)，令其等价于

                                其中为随机噪声且服从均值为0，方差为的高斯分布，所以y服从均值为方差为的高斯分布。

                        所以在训练集D上的似然函数为：

                        取对化简后为：

                        对其求导得 与最小二乘法一致

        最大后验估计：略（以后用到再说）

偏差-方差分解

        略（暂时没用过）

机器学习类型

        分类：

         评估指标：

                准确率、错误率

                混淆矩阵：对于测试集上的情况，分为正例和假例，它们又可分为真假两种合计四种情况。以混淆矩阵表示如图：

                 精确率：

                 召回率：

                 F值：

机器学习理论：

        PAC学习理论：可能近似正确

        没有免费午餐定理：不存在某种算法对所有问题有效

        奥卡姆剃刀原理：如无必要，勿增实体

        丑小鸭定理：世界上不存在相似性的客观标准

        归纳偏置：学习问题中的假设

三、Logistic回归

     详见笔记推导