国科大模式识别与机器学习课程整理

前言

国科大有很多模式识别的课程，其中有人工智能学院的模式识别，以及计算机学院的模式识别与机器学习，而且选课人数都很多，我参加的是计算机学院的模式识别与机器学习的三班课程，授课老师是黄庆明老师、李国荣老师、兰艳艳老师以及苏荔老师。

这门课程涉及极广，包含了模式识别（偏AI）与机器学习（偏传统机器学习与神经网络）。

注：课件请去GitHub自取https://github.com/leonodelee/UCAS_Course_2020

文章中的思维导图请到我上传的文件中下载，链接失效可以私聊我

https://download.csdn.net/download/qq_34767784/14075661

绪论

对课程、老师、教学目标以及内容进行大致介绍

李老师的课件有一个特点，本身PPT内容就不少，但是内容还是放不下，于是PPT里面有许多链接直接跳转到对应的Word文档对公式、例子进行解释；

第二章、统计判别

2.1 作为统计判别问题的模式分类

2.1.1 贝叶斯判别原则

2.1.2 朴素贝叶斯

2.1.3 贝叶斯最小风险判别

2.2 正态分布模式的贝叶斯分类器

2.3 均值向量和协方差矩阵的参数估计

第三章、判别函数

3.1 线性判别函数

3.2 广义线性判别函数

3.3 分段线性判别函数

线性判别函数在进行分类决策时是最简单有效的，但在实际应用中，常常会出现不能用线性判别函数直接进行分类的情况。
采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。

引入分段线性判别函数的判别过程，它比一般的线性判别函数的错误率小，但又比非线性判别函数简单。

3.4 模式空间和权空间

3.5 Fisher线性判别

在这里插入图片描述

3.6 感知器算法(Perception Approach)

感知器算法实质上是一种赏罚过程
对正确分类的模式则“赏”，实际上是“不罚”，即权向量不变。
对错误分类的模式则“罚”，使w(k)加上一个正比于xk的分量。
当用全部模式样本训练过一轮以后，只要有一个模式是判别错误的，则需要进行下一轮迭代，即用全部模式样本再训练一次。
如此不断反复直到全部模式样本进行训练都能得到正确的分类结果为止。

只要模式类别是线性可分的，感知器算法就可以在有限的迭代步数里求出权向量。

3.7 采用感知器算法的多类模式的分类

初始值选择很重要

3.8 可训练的确定性分类器的迭代算法

3.8.1 梯度法

类似于感知器算法

3.8.2 固定增量的逐次调整算法

3.8.3 最小平方误差(LMSE)算法

3.9 势函数法 — 一种确定性的非线性分类算法

用势函数的概念来确定判别函数和划分类别界面。
基本思想
假设要划分属于两种类别ω1和ω2的模式样本，这些样本可看成是分布在n维模式空间中的点xk。
把属于ω1的点比拟为某种能源点，在点上，电位达到峰值。
随着与该点距离的增大，电位分布迅速减小，即把样本xk附近空间x点上的电位分布，看成是一个势函数K(x, xk)。
对于属于ω1的样本集群，其附近空间会形成一个“高地”，这些样本点所处的位置就是“山头”。
同理，用电位的几何分布来看待属于ω2的模式样本，在其附近空间就形成“凹地”。
只要在两类电位分布之间选择合适的等高线，就可以认为是模式分类的判别函数。

3.9.1 判别函数的产生

3.9.2 势函数的选择

3.10 决策树简介

决策树，或称多级分类器，是模式识别中进行分类的一种有效方法，对于多类或多峰分布问题，这种方法尤为方便。

第四章、特征选择和提取

4.1 模式类别可分性的测度

4.2 特征选择

对于独立特征的选择准则
类别可分性准则应具有这样的特点，即不同类别模式特征的均值向量之间的距离应最大，而属于同一类的模式特征，其方差之和应最小。
假设各原始特征测量值是统计独立的，此时，只需对训练样本的n个测量值独立地进行分析，从中选出m个最好的作为分类特征即可。

4.3 离散K-L变换

全称：Karhunen-Loeve变换（卡洛南-洛伊变换）
K-L变换就是一种适用于任意概率密度函数的正交变换。

Machine Learning-Introduction

Statistical Machine Learning

Support Vector Machine

内容较多，对SVM体系进行了深入学习，包括硬边界、软边界。核函数；包含大量公式及其推导

1-非监督学习-聚类

2-非监督学习-降维

3-半监督

4-概率图模型

5-集成学习

6-人工神经网络基础

7-人工神经网络_2