线性分类-基础知识

写在前面：

        接下来我们将讨论向量空间中根据数据的特征向量和类别标签构造线性分类模型。首先,介绍关于向量空间、超平面和线性决策函数的基础知识 然后，重点介绍感知机、Fisher线性鉴别和logistic模型。

基础知识部分：

向量空间（又称线性空间）

1.n维向量

我们可以看一下数据库中是怎么表示一条记录的，假设该表有n个属性，那么R1表示的就是一个n维向量。每一个属性对应着一个属性值。在图像中也是一样，我们平时在处理图像的时候都是将图像（n*n）按照行或者列展开，展开称一个n*n维的向量，便于处理。

对于 音频这种连续信号，我们一般都是通过间隔采样，然后转化为向量空间进行处理。那么这样我们就可以将分类问题转化为向量的分类问题了。

2.分类问题转化为向量的分类

举一个不太恰当的例子，我们可以通过黑头发的比例和行走速度判断这个人是年轻人还是老年人，一个人的数据比如(1,99)就构成了一个向量，我们通过这个向量就可以进行下一步的分类。

3.向量空间定义

所有分量为实数的n维向量构成的集合， 称为一个n维向量空间，向量空间又称线性空间。 

在线性代数中，向量的加法和数乘仍认识是一个向量，类比下面的一个结论：

4.向量空间中几何直观表示

在二维向量中，对应的是一个平面，两个向量的加法满足平行四边形法则。在本例子中正如a1+a3=a2;

5.向量的线性相关性

对n维向量 ，如果存在不全为零的数使得

则称向量组是线性相关的，否则，称向量组线性无关。

在上面这个例子中，a6可以用a7和a2线性表示，表明a2，a6,a7这三个向量是想关的。

6.向量的运算

6..1 向量的本质还是矩阵，因此遵循矩阵的各种运算

矩阵运算（摘自https://blog.csdn.net/a133900029/article/details/80445198）

除了这些基本运算外，我们还想重点提及下向量的内积运算。

我们可以从内积运算中看到什么呢？|a|cosΨ表示的正是在向量b方向上的投影，可以看到内积运算时做了降维的处理。通过投影方便向量计算。

 

 

超平面（H）基础知识：

1.超平面表达式：

我们一般说的超平面都是线性超平面，我们可以用它做决策面。

我们应该怎么理解g（x）这个公式的几何意义呢？我们以三维空间为例子

在一个三维空间中有一个法向量W=（a,b,c），若向量X=（x,y,z)T与W=（a,b,c）垂直的话，我们可以得到

则（x,y,z）T 的所有向量组成了与W=（a,b,c）垂直的平面，因为平面是可以在法向量（a,b,c）上移动，所以加上截距w0，则将平面固定下来，也就在一个三维空间中确定了一个超平面。

除了上面的理解之外，我们还可以从另外一个角度去考虑这个问题，我们以三维空间举例子。

 

 

相似度测量基础知识

向量相似性测量

表示两个向量之间的距离，我们平时比较熟悉的是欧式距离，就是我们中学的时候学的求两点之间的距离公式，但是除了这个欧式距离，我们还有其他很多测量两个向量的距离的公式：

例子一：

 

常用的统计量基础知识

 

 

分类问题的基础知识

1.定义

2.评估方法

我们建立一个决策函数之后，怎么判别我们的分类模型的优劣性呢？我们一般采用以下的方法：

在判断我们的模型性能的时候，我们采用错误率和精度等参数进行评估：

3.比较检验

• 假设检验
• 交叉验证f检验
• McNemar 检验
• Fridman 检验 与 Nemenyi 检验

4.线性分类-线性分类器描述

5.线性分类器的任务

6.线性可分性

7.线性决策的多分类问题