集成方法-1·When Does Diversity Help Generalization in Classification Ensembles

G. Wang, T. Zhou, K. -S. Choi and J. Lu, "A Deep-Ensemble-Level-Based Interpretable Takagi-Sugeno-Kang Fuzzy Classifier for Imbalanced Data," in IEEE Transactions on Cybernetics, doi: 10.1109/TCYB.2020.3016972.

摘要：研究三个问题：1）集成方法中成员的多样性度量，2）多样性与泛化性能的关系，3）基于度量的集成成员剪枝。

引言

• 多样性度量现状：基于回归的集成中，通过误差分解来度量多样性。误差分解基于准确率和多样性，以及基于偏差和方差分解。仅适用于L2损失的回归任务。
• 多样性和泛化性能关系：有相反的结论，各自有实验结果支撑。
• 提出基于多样性的集成剪枝方法，提出准确率和多样性的平衡框架。

贡献

• 提出多样性度量
• 分析多样性和泛化性能间的关系，阐明集成多样性泛化的范围
• 提出集成剪枝方法

相关工作

1. 面向集成的单分类器多样性

• 现有的多样性更多的是通过调整输入样本的分布来完成，很少通过输出标签来完成。
• 深度网络的多样性：初始化参数、网络结构、学习优化算法。

2. 集成中的多样性

• 度量方法分类：主流包括基于成对比较的多样性度量、非成对比较的多样性度量。其他包括与集成的总体比较等。

3. 多样性在集成学习中的作用

• 基于信息理论的角度
• 能够降低假设空间的复杂度

4. 集成剪枝

• 基于排序（评估函数）、基于聚类（预测相似性）以及基于不同优化目标的成员选择方法
• 基于统计、基于动态选择的方法

方法

概要：使用误差分解的方法，计算与单分类器与集成分类器的错误差异作为度量。

具体方法和实验先留坑