数据分析入门-机器学习算法

逻辑斯蒂回归

** 原理 **：不要用线性回归问题去解决分类问题，再y上做了一次逻辑斯蒂转换，让y这个无法用线性表达的y值，sigmoid函数，使得结果值不再局限于0-1，而是正负任何值，然后再和线性回归一样，去找特征前面的权值，线性回归里面是用平方误差来测量匹配程度，而逻辑回归时选择能使对数似然最大化的权值。解决最大化问题，是用最小二乘法，。有这一组特征的基础上，该事件发生和不发生的概率，如果大于0.5则归为一类，小于0.5归为另一类。
** 适用于哪些问题 **：数据量大，分类问题，可以得到一个分类的概率，结果解释性好，不用管特征之间是否有相关性
** 有哪些局限 **：可能容易欠拟合，分类精度不高，对特征的依赖程度很高。

K-means

** 原理 **：指定k值，随机选择k个值作为中心点，其他点依次找距离它最近的中心点归为一簇（欧几里得距离计算公式），所有点遍历完，计算这些簇的中心位置，直到点的位置没有发生大的变化，或者到达迭代次数为止。还有其他距离计算公式：曼哈顿距离（点到点的折线距离）
** 适用于哪些问题 **：运算速度快，类是密集的，且类与类之间有比较明显的区分时，聚类效果好
** 有哪些局限 **：需要先确定K值，往往是无法估计k有多少；随机选择初始点位置，结果与初始点位置选择有关

决策树

原理：先确定使用哪个属性来进行划分（信息增益ID3或者信息增益率C4.5），递归划分训练集，得到一棵树，但此时只是样本的规律，还需要对树进行修剪。
** 适用于哪些问题 **：分类，可以产生分类规则，解释性强
** 缺点 **：算法效率比较低，

关联规则

** 原理 **：找频繁项集，再提取规则。
** 缺点 **：可能产生过多规则，而大部分规则是显而易见的

算法细节和之间的对比

贝叶斯定理：P（Ai|B）=P（Ai B）/P(B)=【P（B|Ai）P（Ai）】/【P（B|A1）P（A1）+P（B|A2）P（A2）+……】

** 朴素贝叶斯与贝叶斯网络的区别**

• 朴素贝叶斯的基本思想：找P（Y=k|X）注意X特征之间要相互独立且同分布
• 贝叶斯网络的基本思想：每个节点代表一个属性，节点之间用有向线段连接
• 朴素贝叶斯可以看做是贝叶斯网络的特殊情况：即该网络中无边，各个节点都是独立的。那么，当朴素贝叶斯中的强假设：独立同分布不成立时，可以使用贝叶斯网络。贝叶斯网络借助有向无环图来刻画属性之间的依赖关系，并使用条件概率表来描述属性的联合概率分布。

逻辑斯蒂回归与朴素贝叶斯的区别与联系

• 都是对特征的线性表达，逻辑斯蒂回归与朴素贝叶斯都是产生条件概率估计值来代替硬性的分类。只是所Fit的参数不同，一个是Y一个是Y=k？
• 对求出的结果具有很好解释性，不想SVM和神经网络
• 不同的是logsitic回归对特征没有限制，有相关性的特征也无所谓，而贝叶斯网络的前置条件是特征之间相互独立，且每个特征同等重要，在有相关性的feature上面学习到的权重同时变大或变小，它们之间的权重不会相互影响。
• 朴素贝叶斯没有优化参数这一步，因此在并行化上能做的很好
• 数量小的训练集上用朴素贝叶斯更好，数据量大，特征维数高了之后，用logistic回归更好，因为logistic不用计算联合概率，而是通过训练集直接输出预测，因此数据量足够多拟合就会很好

逻辑斯蒂回归为什么要用sigmod函数
线性回归之所以功能强大，离不开它能将输入数据的各个维度的特征进行了有效的结合（通过分配不同的权重），使得所有特征共同协同合作作出最后的决策。但是，作出的决策是对模型的一个拟合结果，不能直接用于分类。于是，逻辑斯蒂回归使用了一个sigmod函数，将特征的线性加权结果映射到0到1之间，而这刚好可以看做是数据样本点属于某一类的概率。如果结果越接近0或者1，说明分类结果的可信度越高。

回归为什么要进行正则化，线性回归解释唯一的吗？

• 于线性回归或逻辑回归的损失函数构成的模型，可能会有些权重很大，有些权重很小，导致过拟合（就是过分拟合了训练数据），使得模型的复杂度提高，泛化能力较差（对未知数据的预测能力）。

防止在回归中过拟合的方法
http://www.cnblogs.com/hitwhhw09/p/4630494.html