机器学习数学基础------向量空间

最近开始学习人工智能，先从数学开始，把一些知识点记录下来。跟大家分享一下，主要是自己的理解跟思维方式。

向量空间的定义:

在由称为向量的元素构成的非空集合V中，若定义了加法和数乘运算，且对任意向量a,b,c及数k,l满足以下的8条性质:

则称V为向量空间。

前面4条对应加法运算，后面4条对应数乘运算。上面的8条性质可以用下面的一条性质来进行验证。

只要满足上面的条件就是一个向量空间。

下面举几个例子说明:

对于第一个来说，从几何来看，它是三维空间的一条过零点的直线，肯定对向量加法和数乘封闭，因此它是一个向量空间。

对于第三个来说，它是二维平面中，不过零点的一条直线，对于向量的加法就不封闭，因此不是向量空间。

向量的线性组合:

那么由以上的向量的全部线性组合是怎样的集合呢？

例:向量u=(1,1,1)T,全部线性组合为以u为方向的一条直线。

向量u=(1,1,0)T, v=(0,1,1)T全部线性组合是平面x-y+z=0。

向量u=(1,1,0)T, v=(0,1,1)T w=(1,0,1)T全部线性组合是整个3维空间。因为这三个向量线性无关。

上面的意思也就是说，用这n条向量进行任意的组合，最终可以构成V这个向量空间。举例拿3维空间来说，很明显的一组基就是（1，0，0），（0，1，0），（0，0，1）这三个向量可以构成整个三维空间，也就是三维空间里的任意的向量，都可以由这三个向量线性表示。

这里的某些是线性无关的解向量的线性组合（n-r个向量）。

将上面的Ax=0看成方程组，通过初等行变化得出矩阵的秩为r，表明只有r个方程是线性无关的，此时解空间就是n-r维的。具体看下面的例子:

对比可以验证前面的结论。

 

点在直线和平面上的投影：

正交向量组和正交矩阵:

那么如何把两个线性无关的向量转换成两个标准正交的向量。

其实就是平面外的那个向量减去它在有W1,W2形成的平面上的投影就可以了啊。