Udacity 数据分析进阶课程笔记L42：特征选择

1. 方法一：加入新特征的
   • 通过直觉构建
   • 代码实现
   • 可视化评估
   • 重复上述过程
2. 警惕特征漏洞
   • 任何人都有可能犯错—要对你得到的结果持怀疑态度！
   • 你应该时刻警惕 100% 准确率。不寻常的主张要有不寻常的证据来支持。
   • 如果有特征过度追踪你的标签，那么它很可能就是一个漏洞！
   • 如果你确定它不是漏洞，那么你很大程度上就不需要机器学习了——你可以只用该特征来分配标签。
3. 方法二：删除特征
   • 删除特征的情况：噪音大、过拟合、和其他特征高度相关、使训练过程效率极大降低
   • 特征不等于信息，应当只保留与信息相关的特征
4. 单变量特征选择：
   • sklearn 中有两大单变量特征选择工具：SelectPercentile 和 SelectKBest。 两者之间的区别从名字就可以看出：SelectPercentile 选择最强大的 X% 特征（X 是参数），而 SelectKBest 选择 K 个最强大的特征（K 是参数）。
   • Tf-Idf中的特征选择 vectorizer = TfIdfVectorizer(..., max_df = 0.5, ...)
   • 只使用部分特征时，容易出现高偏差high bias的情况，即欠拟合（low r², large SSE）
5. 正则化regularization
   • 正则化是一种自动形式的特征选择，在精确度、拟合的适当程度、低误差、拟合的复杂度之间进行平衡；
   • 回归中的正则化：正则化是对额外添加的特征的惩罚项
6. 套索回归Lasso Regression中的正则化练习
7. 特征选择迷你项目