Stanford cs231n 学习笔记（1）Linear Model

##非参数化学习（数据驱动型学习）和参数化学习

###数据驱动型学习

整个学习算法依赖的是训练集中的数据样本。典型代表：KNN。即通过对比带预测样本与训练集中的样本的“距离”或者某种度量，来实现分类的功能。在这种算法中，每次的样本预测是依赖和训练集中样本的比对得到的，可以理解为并没有一个真正的模型，而是纯粹地依赖训练集中的数据样本。

###参数化学习

关注的是模型的参数，即以模型的参数作为优化的目标。通过学习优化得到最终参数后，即可通过参数去表示整个模型；这对于在一些低功耗的设备上完成相关的预测算法的运算是很有帮助的：因为只需要传递一个所学习到的参数就可以实现一个模型的表示，就可以对输入的待预测样本完成预测。

线性模型表示为表示输入样本的向量与一个矩阵进行运算并加上bias。y^~ = W^T*x^~＋b^~

矩阵运算为线性运算。所以线性模型与矩阵运算联系在一起。而线性分类器即通过学习得到的线性模型。

－对于线性分类器有两种视角

view1:

矩阵W的每一行即表示一类的template。所以线性分类器实际上在做的就是一个模版匹配的过程（CS231N_Lecture3中有进一步的解读。）但是在线性分类器中，每一个类别只能拥有一个模版。在之后的更复杂的模型中，包括Neural Network中不再有这个限制。

view2:

从特征空间的角度出发，线性分类器相当于在划分样本的边界，即从划分边界的角度去看待这个分类器。