AI作业3-监督学习

集成学习

• 从上一次我们就知道 Ada Boosting 便是集成学习的方法之一，通过迭代地训练一系列的弱分类器，根据每个弱分类器的误差率给予不同的权重，最后将它们组合成一个强分类器。
• 由此我们可以知道，通过构建并结合多个机器学习器（基学习器，Base learner）来完成学习任务的方式便是集成学习（ensemble learning）{有时也被称为对分类系统（multi-classifier system），基于委员会的学习（committee-base learning）}。
• 集成学习的方法主要包括：(仅做简述，详见链接)
  1. Boosting
  2. Bagging:
  3. Stacking
  4. Blending

# 补充
1. 基学习器：Base Learner，集成学习中的个体学习器，基学习器经常是弱学习器，但是并非必须是弱学习器。
2. 基学习算法：Base Learning Algorithm，基学习器所基于的算法，基学习器基于基学习算法生成，

可参考链接：
集成学习概念简介
集成学习–Bagging、Boosting、Stacking、Blending
集成学习（Ensemble Learning)
经典机器学习系列之【集成学习】

支持向量机（SVM）

• 支持向量机（Support Vector Machine）是一种用来解决二分类问题的机器学习算法。简单的我们可以通过核技巧将线性不可分的数据映射到高维空间，这时我们便可以在样本空间中找到一个划分超平面，从而实现非线性分类，以此来解决线性下无法区分状况，并在这些超平面中选择一个最好的，使得两个类别的样本到此平面的最小距离最大，更好的将不同类别的样本分开。

可参考链接：
机器学习笔记（五）：支持向量机（SVM）
SVM
支持向量机（SVM）——原理篇

软间隔

• 硬间隔：在给定的数据集中找到一个超平面，这个超平面能够将样本完全分开，即每个样本都能被正确地分到两个不同的类别中。硬间隔的主要限制就在于对数据集的线性可分性要求较高，一些复杂的数据集很难被完全线性分离开，导致无法使用硬间隔模型进行分类。
• 软间隔（soft margin）：是指在线性支持向量机（SVM）算法中，为了容忍一些噪声或者异常值的存在，在分类时我们允许出现一定程度的误差或者分类错误，使得分类平面可以不必严格地将正负样本分开，而可以出现一定的错误，以获得更好的泛化性能。软间隔的引入可以增加模型的鲁棒性和泛化能力，同时也会降低模型的训练难度。

核函数

• 核函数的作用是将输入的数据从原始空间（通常是高维空间）映射到另一个更高维的空间，使得在新的空间中数据更容易被分类或者回归。

VC维

VC维（Vapnik-Chervonenkis）维度的缩写，机器学习领域的一个基础概念，它给诸多机器学习方法的可学习性提供了坚实的理论基础。VC维是一种度量模型复杂度的方法，同时可以用来衡量一个模型的泛化能力，即在训练集上表现良好的模型是否能够在测试集上表现良好。

参考链接：
机器学习：VC维的概念和用途
注：注意区分

生成式模型（Generative Model）& 判别式模型（Discriminative Model）

• 生成式模型：由数据学习联合概率密度分布P(x,y)，然后生成条件概率分布P(y|x)，或者直接学得一个决策函数 Y=f(x)，用作模型预测。
• 判别式模型：由数据直接学习决策函数f(x)或者条件概率分布P(y|x)作为预测。

异同点：

1. 生成模型和判别模型都属于监督学习的模型。
   2.生成式模型可以根据贝叶斯公式得到条件概率分布P(y|x)，但反过来不行，即判别方法不能还原出联合概率分布P(x,y)。
   3.生成方法学习联合概率密度分布P(x,y)，所以就可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度，但它不关心到底划分各类的那个分类边界在哪；判别方法不能反映训练数据本身的特性，但它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。

//补充：
#ChatGPTChat Generative Pre-trained Transformer就是典型的生成式模型

P(A|B)称为后验概率(posterior),这是我们需要结合先验概率和证据计算之后才能知道的。
P(B|A)称为似然(likelihood),在事件A发生的情况下，事件B(或evidence)的概率有多大
P(A)称为先验概率(prior), 事件A发生的概率有多大
P(B)称为证据(evidence)，即无论事件如何，事件B(或evidence)的可能性有多大

贝叶斯公式可以在知道P(B|A)的情况下，计算出P(A|B)，具体公式为 $$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

参考链接：
机器学习中的判别式模型和生成式模型
机器学习：生成式模型和判别式模型
贝叶斯公式简介及示例讲解

生成式模型和判别式模型各有什么优缺点？

• 生成式模型可以通过对联合概率分布 P (x,y) 的建模，学习到的是数据的分布情况，从而生成新的样本数据。但是，由于生成式模型关注的是数据的分布情况，因此在处理高维数据时，会遇到维度灾难问题，导致模型的训练和预测效率较低。
• 判别式模型直接对条件概率分布 P (y|x) 进行建模，因此不需要对数据的分布进行建模。因此，判别式模型通常比生成式模型更加简单、高效。但是，判别式模型无法生成新的样本数据。

监督学习是判别式方法，无监督学习是生成式方法？

• 首先监督学习和无监督学习与判别式方法和生成式方法并没有必然的联系。易混淆的是他们四者的方式，常见的监督学习算法包括分类、回归等；典型的判别式模型包括支持向量机、逻辑回归等；常见的无监督学习算法包括聚类、降维等；典型的生成式模型包括生成对抗网络、变分自编码器等。
• 监督学习和无监督学习都可以使用生成式模型或判别式模型。例如，支持向量机（SVM）是一种监督学习的判别式模型，而朴素贝叶斯是一种监督学习的生成式模型。同样，K-Means 是一种无监督学习的判别式模型，而高斯混合模型（GMM）是一种无监督学习的生成式模型。

因此，监督学习和无监督学习与判别式方法和生成式方法并没有必然的联系，它们是两个不同的维度。

参考链接：
生成模型（1）-无监督生成模型

分类是判别式方法，聚类是生成式方法？KNN，K-means分别是什么方法？

• 分类和聚类都可以是判别式方法或生成式方法，这取决于具体的算法和模型设计。一些常见的分类算法，例如逻辑斯蒂回归和SVM，属于判别式方法；而一些生成式分类算法，例如朴素贝叶斯分类器，也属于生成式方法。同样，一些聚类算法，例如K均值和DBSCAN，属于判别式方法；而一些生成式聚类算法，例如高斯混合模型，也属于生成式方法。因此，不能简单地将分类与判别式方法等同，将聚类与生成式方法等同。
• k近邻法（k-nearest neighbor，k-NN）是一种基本的分类和回归方法，是监督学习方法里的一种常用方法。k近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例类别，通过多数表决等方式进行预测。（物以类聚，人以群分）
• K-Means 是发现给定数据集的 K 个簇的聚类算法, 之所以称之为 K-均值 是因为它可以发现 K 个不同的簇, 且每个簇的中心采用簇中所含值的均值计算而成。簇个数 K 是用户指定的, 每一个簇通过其质心（centroid）, 即簇中所有点的中心来描述。聚类与分类算法的最大区别在于, 分类的目标类别已知, 而聚类的目标类别是未知的.

参考链接：
KNN算法详解及实现
K-Means（K-均值）聚类算法