特征工程优化

参考链接
https://www.bilibili.com/video/BV1WN4y1k7R1/?buvid=XU0E30D0C6006B7F1EE1425156434CFEC440F&from_spmid=tm.recommend.0.0&is_story_h5=false&mid=fMtk7pz9LsVpSyGt0Mcizg%3D%3D&p=1&plat_id=116&share_from=ugc&share_medium=android&share_plat=android&share_session_id=b580ad13-0b4d-452f-94f5-5c54827a0dd6&share_source=WEIXIN&share_tag=s_i&spmid=united.player-video-detail.0.0×tamp=1698372933&unique_k=GEAv0mL&up_id=431850986

一、介绍特征工程

特征工程是将数据转换为能够更好地表示潜在问题的特征，从而提高机器学习性能的过程。
使用场景：任何阶段得到数据。
优点：更好地表示潜在问题，提高性能。
缺点：特征找的不准备导致模型效果不好。

二、建模工作

数据的清洗和组织是特征工程的主要部分。

三、特征工程的重要性

数据和特征决定了机器学习的上线，而模型和算法只是逼近了这个上线。

四、特征工程前期工作

五、数据转换

具体方法：
归一化、标准化、对数转换、反余切函数转换、Box-Cox变换、L2-Norm变换等等。

六、特征筛选

通过特征筛选找到最相关和最有价值的特征，构建更简化和高效的模型，无关的、冗余的或噪声特征需从数据中剔除。

七、总结

特征工程复杂，需对数据十分了解，先总体分析再逐个分析特征比较节约时间。对单个特征和多个特征进行分析，然后从中找到不同特征之间或与目标特征的相关性，再进行筛选，得到的有效特征的概率会大一些。分析完后需对每个特征进行处理，如缺失值和异常值处理、归一化处理等等。总之，如果特征工程处理的很好，模型结果也会相对好一些。