《统计学习》--统计学习及监督学习概论

统计学习及监督学习概论

简介

• 概论主要叙述统计学习的一些基本概念，对统计学习有个初步了解，个人是先读了后面的章节，发现第一章才是最重要的，故重点介绍。

目录

• 统计学习介绍
• 统计学习分类
• 统计学习方法三要素
• 模型评估与模型选择
• 正则化与交叉验证
• 泛化能力
• 生成模型与判别模型
• 监督学习应用
• 总结

统计学习介绍

统计学习的特点

• 以计算机及网络为平台
• 数据为研究对象，数据驱动
• 目的是对数据进行预测与分析
• 以方法为中心，构建模型进行预测与分析
• 统计学习涉及概率论、统计学、信息论、计算理论、最优化理论等多个领域

统计学习的对象

• 统计学习的对象是数据，提取数据特征、抽象数据模型、挖掘数据知识、对数据进行分析与预测。

统计学习的目的

• 主要目的是对数据进行预测与分析，特别是未知的新数据，同时也考虑如何提高学习效率。

统计学习的方法

• 统计学习有监督学习、无监督学习、强化学习等组成。
• 统计学习方法的三要素：模型的假设空间、模型选择的准则和模型学习的算法。

统计学习方法的步骤

• 得到一个有限的训练集合。
• 确定包含所有可能的模型的假设空间，即学习模型的集合。
• 确定模型选择的准则，即学习的策略。
• 实现求解最优化模型的算法，即学习的算法。
• 通过学习算法选择最优模型。
• 利用学习的最优模型对新的数据进行预测分析。

统计学习的研究

• 包括统计学习方法、理论、应用三个方面。

统计学习的重要性

• 统计学习是处理海量数据的有效方法
• 统计学习是计算机智能化的有效手段
• 统计学习是计算机科学的一个重要组成部分，属于信息这一维

统计学习的分类

基本分类

• 统计学习或机器学习一般包括监督学习、无监督学习、强化学习。有时还包括半监督学习和主动学习

监督学习

监督学习是指从标注数据中学习预测模型的机器学习问题，标注数据表示输入输出的对应关系，预测模型对给定的输入产生相应的输出。监督学习本质是学习输入到输出的映射统计规律。

• 输入与输出的所有可能取值的集合分别称为输入空间与输出空间，通常输出空间远远小于输出空间。
• 每个具体的输入是一个实例，通常由特征向量表示，所有的特征向量存在的空间称为特征空间。
• 输入变量与输出变量均为连续变量的预测问题称为回归问题；输出变量为有限个离散变量的预测问题称为分类问题；输入变量与输出变量均为变量序列的预测问题称为标注问题
• 监督学习假设输入变量与输出变量遵循联合概率分布，训练数据和测试数据是依联合概率分布独立同分布产生的
• 监督学习的目的在于学习一个由输入到输出的映射，模型属于输入空间到输出空间的映射的集合，这个集合就是假设空间
• 监督学习分为学习和预测两个过程，由学习系统和预测系统完成，学习过程中，学习系统利用给定的训练数据集，通过学习得到一个模型，表示为条件概率分布或决策函数。在预测过程中，预测系统对于给定的测试样本集输入，给出相应的输出

无监督学习

• 无监督学习是指从无标注数据中学习预测模型的机器学习，无标注数据是自然得到的数据，预测模型表示数据的类别、转换或概率。本质是学习数据中的统计规律或潜在结构。
• 输入与输出的所有可能取值的集合分别称为输入空间与输出空间，通常输出空间远远小于输出空间。
• 每个具体的输入是一个实例，通常由特征向量表示，所有的特征向量存在的空间称为特征空间。
• 模型可以实现对数据的聚类、降维或者概率估计。
• 无监督学习旨在从假设空间中选出在给定评价标准下的最优模型。

强化学习

• 强化学习是指智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。假设智能系统与环境的互动基于马尔可夫决策过程，智能系统能观测到的是与环境互动得到数据序列。强化学习本质是学习最优的序贯决策。
• 强化学习的马尔可夫决策过程是状态、奖励、动作序列上的随机过程，由五元组 S 有限状态集合、A 有限动作集合、P 状态转移概率函数、r 奖励函数、衰减系数
• 马尔可夫决策过程，下一个状态只依赖于前一个状态与动作，由状态转移概率函数表示。下一个奖励依赖于前一个状态s和动作，由奖励函数表示。
• 价值函数或者状态价值函数定义为策略Π从某一个状态s开始的长期累积奖励的数学期望。
• 动作价值函数定义为策略Π的从某一个状态s和动作a开始的长期累积奖励的数学期望。

半监督学习与主动学习

• 半监督学习是指利用标注数据和未标注数据学习预测模型的机器学习问题。半监督学习旨在利用未标注数据中的信息，辅助标注数据，进行监督学习，以较低成本达到较好的学习效果。
• 主动学习是指机器不断主动给出实例让教师进行标注，然后利用标注数据学习预测模型的机器学习问题。主动学习的目标是找出对学习最有帮助的实例让教师标注，以较小的标注代价，达到较好的学习效果。
• 半监督学习和监督学习更接近监督学习。

按模型分类

概率模型与非概率模型

• 条件概率分布最大化后得到函数，函数归一化后得到条件概率分布，所有概率模型和非概率模型区别不在于输入输出之间的映射关系，而在于内在结构。
• 概率模型通常可以表示为联合概率分布形式，其中的变量表示输入、输出、隐变量甚至是参数。而非概率模型则不一定存在这样的联合概率分布。
• 概率模型包含：决策树、朴素贝叶斯、隐马尔可夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型等
• 非概率模型包含：感知机、支持向量机、k近邻、AdaBoost、k均值、潜在语义分析以及神经网络等
• 逻辑斯谛回归既可以看作概率模型，又可以看作非概率模型。
• 概率模型无论模型如何复杂，均可以用最基本的加法规则和乘法规则进行概率推理。

线性模型与非线性模型

• 如果输入输出映射函数是线性函数，则称模型是线性模型，否则是非线性模型。
• 线性模型：感知机、线性支持向量机、k近邻、k均值、潜在语义分析等
• 非线性模型：核函数支持向量机、AdaBoost、神经网络，深度学习等

参数化模型和非参数化模型

• 参数化模型假设模型参数的维度固定，模型可以由有限维参数完全刻画
• 非参数化模型假设模型的参数维度不固定或者说无穷大，随着训练数据量的增加而不断增大。
• 参数化模型：感知机、朴素贝叶斯、逻辑斯谛回归、k均值、高斯混合模型、潜在语义分析，概率潜在语义分析、潜在狄利克雷分配等
• 非参数化模型：决策树、支持向量机、AdaBoost、k近邻等

按算法分类

• 分为在线学习与批量学习，在线学习通常比批量学习更难，很难学到预测准确率更高的模型，因为每次模型更新中，可以利用的数据有限。

在线学习

• 在线学习是指每次接受一个样本，之后学习模型，并不断重复该操作的机器学习
• 利用随机梯度下降的感知机学习算法就是在线学习算法

批量学习

• 批量学习是指一次接受所有的数据，学习模型，之后进行预测。

按技巧分类

贝叶斯学习

• 贝叶斯学习，又称贝叶斯推理，是统计学习、机器学习中的重要方法

核方法学习

后续补充

统计学习方法三要素

• 模型、策略、算法