2002-TPAMI-Mean Shift: A Robust Approach Toward Feature Space Analysis

2002-TPAMI-Mean Shift: A Robust Approach Toward Feature Space Analysis

introduction

• 特征空间: 1. 表示一个重要特征的证据都被集合在一起; 2. 那些在特征空间有很少支持但是对最终任务有很大贡献的特征会被忽视,不过可以通过后期处理纠正
• 以前利用特征空间的方法: 1.利用先验知识(比如簇的数量,或者利用全局标准来寻找数量) 2. 假设簇的形状是相同的,比如椭圆形. 但是这些方法都不能处理复杂的真实特征空间
• 非参数方法聚类:
  
  • hierarchical clustering(分层聚类): 依据一些proximity measure(邻近测量),计算量大,没有融合或者分离的停止标准
  • density estimation(密度估计):特征空间服从 先验概率密度分布,特征空间对应pdf局部最大
• 用于: discontinuity preserving filtering , 图片分割

Density Gradient Estimation

• density estimator公式,K对应引入核函数,相当于空间变换,映射到特征容易分割的维度：
  f̂ h,K(x)=ck,dnhd∑ni=1k(∥x−xih∥2) f ^ h , K ( x ) = c k , d n h d ∑ i = 1 n k ( ∥ x − x i h ∥ 2 )
• 对上式求导:
  ∇̂ fh,K(x)≡∇f̂ h,K(x)=2ck,dnhd+2∑ni=1(x−xi)k′⟮∥x−xih∥2⟯ ∇ ^ f h , K ( x ) ≡ ∇ f ^ h , K ( x ) = 2 c k , d n h d + 2 ∑ i = 1 n ( x − x i ) k ′ ⟮ ∥ x − x i h ∥ 2 ⟯
• 令,其中 cg,d c g , d 为normalization constant(标准化常数):
  g(x)=−k′(x) g ( x ) = − k ′ ( x ) 且 G(x)=cg,dg⟮∥x∥2⟯ G ( x ) = c g , d g ⟮ ∥ x ∥ 2 ⟯
• 得:
  ∇̂ fh,K⟮x⟯ ∇ ^ f h , K ⟮ x ⟯
  =2ck,dnhd+2∑ni=1⟮xi−x⟯g⟮∥x−xih∥2⟯ = 2 c k , d n h d + 2 ∑ i = 1 n ⟮ x i − x ⟯ g ⟮ ∥ x − x i h ∥ 2 ⟯
  =2ck,dnhd+2[∑ni=1g⟮∥x−xih∥2⟯][∑ni=1xig⟮∥x−xih∥2⟯∑ni=1g⟮∥x−xih∥2⟯−x] = 2 c k , d n h d + 2 [ ∑ i = 1 n g ⟮ ∥ x − x i h ∥ 2 ⟯ ] [ ∑ i = 1 n x i g ⟮ ∥ x − x i h ∥ 2 ⟯ ∑ i = 1 n g ⟮ ∥ x − x i h ∥ 2 ⟯ − x ]
• 上式第一项对应:
  f̂ h,G⟮x⟯=cg,dnhd∑ni=1g⟮∥x−xih∥2⟯ f ^ h , G ⟮ x ⟯ = c g , d n h d ∑ i = 1 n g ⟮ ∥ x − x i h ∥ 2 ⟯
• 第二项对应于,(相当于对样本进行加权求平均):
  mh,G⟮x⟯=∑ni=1xig⟮∥x−xih∥2⟯∑ni=1g⟮∥x−xih∥2⟯−x m h , G ⟮ x ⟯ = ∑ i = 1 n x i g ⟮ ∥ x − x i h ∥ 2 ⟯ ∑ i = 1 n g ⟮ ∥ x − x i h ∥ 2 ⟯ − x
• 则density estimator的梯度为:
  ∇̂ fh,K⟮x⟯=f̂ h,G⟮x⟯2ck,dh2cg,dmh,G⟮x⟯ ∇ ^ f h , K ⟮ x ⟯ = f ^ h , G ⟮ x ⟯ 2 c k , d h 2 c g , d m h , G ⟮ x ⟯
• 最终的mean shift(均值漂移) 为:
  mh,G⟮x⟯=12h2c∇̂ fh,K⟮x⟯f̂ h,G⟮x⟯ m h , G ⟮ x ⟯ = 1 2 h 2 c ∇ ^ f h , K ⟮ x ⟯ f ^ h , G ⟮ x ⟯
• mean shift会在梯度为0的地方收敛,且density estimate normalization(密度估计标准化)使得mean shift自适应梯度增长,在梯度非0的地方下降快,在0点附近微调

个人见解:

• 作者代码
• opencv实现,和mean shift查找过程视频
• mean shift 利用核空间变换原数据,求导,使得每个数据点都收敛到梯度为0的点,新的数据为spatial主域,原数据和收敛的数据合成交织域(joint domain),最后再在交织域上实现discontinuity preserving smoothing , Image segmentation应用
• mean shift 通过控制带宽h来决定窗口的大小
• spatial空间为经过mean shift处理后的空间,而range空间只原始的color等参数值
• 改变spatial带宽比range(color)带宽带来的影响大
• 在spatial带宽很大的时候,只有颜色对比很大,才不会被其他局部最优取代,这个结论可以通过看狒狒的实验结果得出
• 核函数一般都是关于y轴对称,且为凸函数,远离y轴值在变小
  
• 从下式可以看出,h越大,g函数越向y轴缩,也就是mean shift越依赖附近的值
  mh,G⟮x⟯=∑ni=1xig⟮∥x−xih∥2⟯∑ni=1g⟮∥x−xih∥2⟯−x m h , G ⟮ x ⟯ = ∑ i = 1 n x i g ⟮ ∥ x − x i h ∥ 2 ⟯ ∑ i = 1 n g ⟮ ∥ x − x i h ∥ 2 ⟯ − x

图片分割

• 运行mean shift程序,计算每个像素点 xi x i 的收敛值 zi z i
• 将在spatial域距离小于 hs h s ,在range域小于 hr h r 的点聚合为一个类
• 为每个像素点打标签
• 将分割后点数小于M的区域消除
• hs h s 控制空间窗口大小, hs=8,windows:17∗17;hs=16,windows:31∗31 h s = 8 , w i n d o w s : 17 ∗ 17 ; h s = 16 , w i n d o w s : 31 ∗ 31 , hr h r 和smallest significant feature size M 控制最终得到的分割区域数量.对于背景文理比较多的区域,需要将 hr,M h r , M 调的很大