感知机、k近邻法（部分）、朴素贝叶斯的学习

感知机、k近邻法（部分）、朴素贝叶斯的学习小结：
机器学习算法中，尤其需要注意误差，大多数是根据误差进行函数的优化，每种算法算法，对误差进行理解，再全局疏通这种算法，能加深记忆。
最小二乘法
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以由著名的最小二乘法求解。

1. 感知机

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值，感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。

感知机损失函数的选择：


K近邻法
K近邻法（k-NN）是一种基本分类与回归方法。K近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测，因此，k近邻法不具有显式的学习过程，k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的模型。K值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。
朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布 ，

参考文献：李航 统计学习方法