【图像处理】均值漂移(mean shift)及深度学习超分辨代码中的mean shift

均值漂移(mean shift)

均值漂移是一种聚类算法，常用于特征点聚类、图像分割、对象轮廓检验、目标跟踪等。这里简单直观介绍一下这个算法大概是怎么回事。

基本概念

基本概念可以看下面这个图。左面是一堆像素点特征的分布（其实也不用管他是啥，只要当成一堆点就好了），我们可以看到这堆点有的地方密集，有的地方稀疏。把点的密度分布可视化之后就是右边这个图，大概可以理解为点的密度函数三维可视化。这样就可以看到，会存在几个极值点，也就是红色的点。
好，看到这里你其实就已经理解这个算法的一大半了。
这个算法的操作直观来讲就是，你每拿出一个点来，就把它移动到离它最近的一个极值点。（如图白色点所示，白色点是初始位置，这个点最终应该移动到右上角最高的那个红色点）。
也就是在图中任意一个点，它的类别与密度函数中离它最近的一个极大值点相同。

做完的结果大概是这样：

操作过程

讲完基本概念，我们来看如何找到某个点离拿个极大值点最近。操作过程就解释了为什么这个算法叫均值漂移。

1. 首先找到一个你要聚类的点，如图红色点所示，我们称作sample pixel。
2. 接着你需要一个window width，也就是你需要一个范围值，这个值就是这个算法很重要的一个参数。找到width范围内的所有点，如图蓝色圈所示。
3. 接着计算出圈内所有点的均值。均值计算方法可以是直接平均，也可以是加权平均（这个不影响理解）。均值点如图绿色点所示。
4. 接着将sample pixel移到绿色点，作为新的sample pixel点，
   
5. 接着以新的点为起始点，重复上述操作，直到sample pixel点和均值点重合或者距离小于某个值，就停止操作，认为这个点归属到了它应该属于的类别。

这是英文版的算法过程，和我讲的意思大概差不多，感兴趣的朋友可以看看。

均值漂移用于图像分割

对于均值漂移，我们需要给定w，也就是上面讲的蓝色圈圈的范围。

参考视频

图片来源于这个视频，讲的很不错。感兴趣的朋友可以去看看。https://www.youtube.com/watch?v=PCNz_zttmtA

深度学习超分辨代码中的mean shift

最近在看RCAN的代码，结果点开就懵逼了，里面来了一个meanshift，了解完meanshift感觉它代码干的也不是这事情啊…
RCAN这部分代码大概长这样。

class MeanShift(nn.Conv2d):
    def __init__(self, rgb_range, rgb_mean, rgb_std, sign=-1):
        super(MeanShift, self).__init__(3, 3, kernel_size=1)
        
        std = torch.Tensor(rgb_std)
        self.weight.data = torch.eye(3).view(3, 3, 1, 1) # 第一维为输出通道，第二维为输入通道
        self.weight.data.div_(std.view(3, 1, 1, 1)) # torch.eye(3).view(3, 3, 1, 1) / std.view(3, 1, 1, 1)
        self.bias.data = sign * rgb_range * torch.Tensor(rgb_mean)
        self.bias.data.div_(std) # sign * rgb_range * torch.Tensor(rgb_mean) / std
        # (w*x+b)/std
        self.requires_grad = False
# parameter of DIV2K
rgb_mean = (0.4488, 0.4371, 0.4040)
rgb_std = (1.0, 1.0, 1.0)
sub_mean = MeanShift(255, rgb_mean, rgb_std)
add_mean = MeanShift(255, rgb_mean, rgb_std, sign=1)

解释

这个其实是一个图像预处理过程。这个过程是将数据集中的每个样本都减去数据集的均值。（训练集，测试集肯定不能混进来算）

原因： 我们默认自然图像是一类平稳的数据分布(即数据每一维的统计都服从相同分布)，在每个样本上减去数据的统计平均值可以凸显出个体差异。

参考博客： https://www.pythonf.cn/read/149532

指导老师

徐放、周鹏程、肖彦洋
对生物医学图像感兴趣的朋友欢迎了解 中国科学院深圳先进技术研究院脑信息中心。
实验室主页： http://icbi.siat.ac.cn/xu-lab/