显著性检测saliency detection代码实现

数学原理不具体展开

直接上代码

import cv2
import matplotlib.pyplot as plt
saliency= cv2.saliency.StaticSaliencyFineGrained_create()
(_, sm) = saliency.computeSaliency(img)
plt.imshow(sm, cmap = plt.cm.hot)

就可以实现如下效果的变换

也可以利用预训练模型生成

model = torchvision.models.squeezenet1_1(pretrained=True)
for param in model.parameters():
    param.requires_grad = False
def compute_saliency_maps(X, y, model):

    # 确保model是test模式
    model.eval()
    
    # 确保X是需要gradient
    X.requires_grad_()
    
    saliency = None
    
    logits = model.forward(X)
    logits = logits.gather(1, y.view(-1, 1)).squeeze() # 得到正确分类
    logits.backward(torch.FloatTensor([1., 1., 1., 1., 1.])) # 只计算正确分类部分的loss
    
    saliency = abs(X.grad.data) # 返回X的梯度绝对值大小
    saliency, _ = torch.max(saliency, dim=1)
    
    return saliency.squeeze()

saliency = compute_saliency_maps(img, y, model)
saliency = saliency.numpy()

最后生成的图用numpy（）转成普通矩阵即可显示，不然是tensor显示不出