数据挖掘常见面试题
SVM
1、支撑平面-和支持向量交互的平面,分割平面---支持平面中间面也就是最优分类平面
2、SVM不是定义损失,而是定义支持向量之间的距离目标函数
3、正则化参数对支持向量数的影响
LR
1、LR的形式:h(x)=g(f(x)) 其中x为原数据,f(x)为线性/非线性回归得到的值,也叫判定边界 g()为Sigmod函数,最终h(x)输出的范围为(0,1)
LR对样本分布敏感
LR和朴素贝叶斯(NB)之间的区别
LR是loss最优化求出的 NB是跳过统计Loss最优,直接得出权重的 NB比LR多了一个条件独立假设 LR属于判别模型 NB是生成模型
在机器学习中,LR和SVM有什么区别?
两者都可以处理非线性的问题;LR和SVM最初都是针对二分类问题的,SVM最大化间隔平面,LR极大似然估计,SVM只能输出类别,不能输出概率,两者LOSS function 不同,LR的可解释性更强,SVM自带有约束的正则化
LR为什么用sigmod函数,这个函数有什么优点和缺点?为什么不用其他函数?
LR只能用于处理二分类,而Sigmod对于所有的输入,得到的输出接近0或者 1
Sigmod存在的问题,梯度消失、他的输出不是关于原点对称的导致收敛速度非常慢,计算非常耗时间
Tanh激活桉树存在的问题:梯度消失,计算耗时,但是其输出的是中心对称的
Relu:其输出不关于原点对称:反向传播时,输入的神经元小于0时,会有梯度消失问题,当x=0是,该点的梯度不存在(没有定义)
Relu问题:权重初始化不当,出事学习率设置的非常大
SVM原问题和对偶问题关系？
SVM对偶问题的获得方法：将原问题的目标函数L和约束条件构造拉格朗日函数，再对L中原参数和lambda、miu分别求导，并且三种导数都等于0；再将等于0的三个导数带入原目标函数中，即可获得对偶问题的目标函数
关系：原问题的最大值相对于对偶问题的最小值
KKT（Karysh-Kuhn-Tucker）条件有哪些，完整描述？
KKT条件是思考如何把约束优化转化为无约束优化à进而求约束条件的极值点
决策树过拟合哪些方法，前后剪枝
决策树对训练属性有很好的分类能力；但对位置的测试数据未必有好的分类能力，泛化能力弱，即发生过拟合
防止过拟合的方法：剪枝（把一些相关的属性归为一个大类，减少决策树的分叉）；随机森林
L1正则为什么可以把系数压缩成0，坐标回归的具体实现细节？
L1正则化可以实现稀疏（即截断），使训练得到的权重为0；
l1正则会产生稀疏解，即不相关的的特征对应的权重为0，就相当于降低了维度。但是l1的求解复杂度要高于l2,并且l1更为流行
正则化就是对loss进行惩罚（加了正则化项之后，使loss不可能为0,lambda越大惩罚越大-->lambda较小时，约束小，可能仍存在过拟合；太大时，使loss值集中于正则化的值上）
正则化使用方法：L1/L2/L1+L2
LR在特征较多时可以进行怎样的优化？-->L1正则有特征选择的作用
如果是离线的话，L1正则可以有稀疏解，batch大点应该也有帮助，在线的解决思路有ftrl,rds,robots,还有阿里的mlr。当然还可以用gbdt,fm,ffm做一些特性选择和组合应该也有效果。
机器学习里面的聚类和分类模型有哪些？
分类：LR、SVM、KNN、决策树、RandomForest、GBDT
回归：non-Linear regression、SVR（支持向量回归-->可用线性或高斯核（RBF））、随机森林
聚类：Kmeans、层次聚类、GMM（高斯混合模型）、谱聚类
聚类算法（可以作为监督学习中稀疏特征的处理）：Kmeans、层次聚类、GMM（高斯混合模型）
聚类算法唯一用到的信息是样本和样本之间的相似度。
评判聚类效果准则：高类间距，低类内距；高类内相似度，低类间相似度。
相似度与距离负相关。
图像之间的距离的度量是对每个像素操作，最后获得距离
正则化为什么能防止过拟合？
过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声. 正则化则是对模型参数添加先验，使得模型复杂度较小，对于噪声的输入扰动相对较小。
正则化时，相当于是给模型参数w 添加了一个协方差为1/lambda 的零均值高斯分布先
验。对于lambda =0，也就是不添加正则化约束，则相当于参数的高斯先验分布有
着无穷大的协方差，那么这个先验约束则会非常弱，模型为了拟合所有的训练数
据，w可以变得任意大不稳定。lambda越大，表明先验的高斯协方差越小，模型
约稳定，相对的variance(方差)也越小。