聚类训练Clustering Training for Robustness

ClustTR: Clustering Training for Robustness

Motasem Alfarra, Juan C. Pérez, Adel Bibi, Ali Thabet, Pablo Arbeláez, Bernard Ghanem
arXiv preprint arXiv:2006.07682.

作者提出聚类训练（ClusTR），将聚类的思想应用于模型的输出空间，并设计出相应的clustering loss，通过反向传播学习出鲁棒的模型。

• 首先定义基于聚类的分类器
  给定输入-标签对，，标签总共有个类别
  DNN定义为
  考虑最简单的二分类情况，即，每个类别的簇数
  被分类为簇1，当且仅当
  （是簇1的中心，是簇2的中心）
  假设是Lipschitz连续，即
  
  添加扰动后，即依然被分类正确，则有
  
  其中，满足
  
• 推广到多类多簇
  类别数，每个类别的簇数为
  
  
  其它类别同理
• 聚类损失Clustering Loss
  设计聚类损失的核心思想在于，使同类特征距离中心越近，不同类距离中心越远
  给定衡量同类距离的函数，衡量不同类距离的函数，综合考虑和的稳定损失，则有一般形式的聚类损失