数据预处理的常见方法

数据预处理

定义内涵

用户从多种渠道收集的数据可能包含噪音，或是存在不一致、不完整等问题，无法直接
进行训练。为了提高数据的质量，在将数据交给模型训练之前，需要对数据预处理。数据预
处理是指在数据分析
之前，对数据进行的清洗、筛选、转换、特征选择和提取等一系列必要处理操作的过程。

技术背景

数据预处理的常见方法有数据清洗、数据转换、特征选择、数据降噪和数据增强。
数据清洗通常是指对收集得到的数据集通过丢弃重复数据、补全缺失数据、异常值处理
SecXOps 安全智能分析技术白皮书
022
等方式，清洗掉数据集里的脏数据，完成清洗过程。数据清洗旨在提高数据质量，数据清洗
的效果会直接影响到后续数据分析、模型预测的效率和准确率。
数据转换是将数据从一种形式转变为另一种形式的数据预处理方法。由于数据源的多样
性、数据的异构性、数据分析的要求等各种原因，在进行数据集成和管理之前，需要对数据
进行转换。数据转换根据需求对数据进行类型转换、语义转换、粒度转换、离散化、数据压
缩等操作，转换方式有平滑处理、泛化处理、合计处理、规格化处理等。
特征选择旨在筛选出给定数据集中与当前机器学习任务有关的特征。复杂数据中存在大
量特征，并非所有特征对模型任务都是有用的，去除不相关的特征能节省计算和存储开销，
降低过拟合风险，提高模型性能。常见的特征选择算法分为过滤法、包裹法和嵌入法，不同
的算法根据不同的观察变量和特征评分规则对特征进行筛选。
数据降噪对数据集中的噪声进行移除。噪声在实际数据中无法避免，噪声的存在会对模
型产生误导。常使用的数据降噪方法有聚类、降维、回归等。
数据增强旨在扩充有限的数据，增加训练样本的数量和多样性，进而提高模型的泛化能力。
根据在机器学习流程中适用的阶段，数据增强分为离线增强和在线增强，其中离线增强直接
对数据集采取增强操作，在线增强在获得批量数据后，对批量数据进行增强。常见的数据增
强方案有 AugMix[8]，CutOut[9]，MoEx[10]，MaxUp[11]，Mixup[12]，CutMix[13] 等

参考资料

绿盟SecXOps安全智能分析技术白皮书

友情链接

教育部关于加强新时代教育管理信息化工作的通知 2021