DJI秋招笔试试题解析

1. 在Logistic Regression 中,如果同时加入L1和L2范数,会产生什么效果(     )

• 可以做特征选择,并在一定程度上防止过拟合
• 能解决维度灾难问题
• 能加快计算速度
• 可以获得更准确的结果

题库

解析：答这道题需要理解加入L1和L2正则化的意义，并且知道同时加入L1L2（即Elastic Net）这种操作。

首先为什么要加入L1,L2正则化，是考虑到参数w自身分布的影响。在最小化P(w|x,y)的时候，加入L1,L2正则化项是为了获得精确的使最大似然函数取得最小值的w值。而加入L1,L2也带来一些性质，包括L1正则化会使模型的变量稀疏，L2正则化效果更好。(公式推导参见这篇文章)正则化与数据先验分布的关系 这篇（贝叶斯角度看L1，L2正则化）的推导也比较哈

同时下面这篇文章从矩阵和几何角度解释了Lasso和岭回归的区别（其中岭迹图画出了偏倚参数k和回归系数估计值之间的关系）。多重共线性的解决方法之——岭回归与LASSO

而ElasticNet的公式及推导可以看这篇文章。ElasticNet回归及机器学习正则化

答案：A