【Python&语义分割】Segment Anything（SAM）模型交互式分割+掩膜保存（三）

我之前分享了Segment Anything（SAM）模型的基本操作，这篇给大家分享下交互式语义分割代码，可以通过鼠标点击目标物生成对应的掩膜，同时我还加入了掩膜保存的代码。

1 Segment Anything介绍

1.1 概况

        Meta AI 公司的 Segment Anything 模型是一项革命性的技术，该模型能够根据文本指令或图像识别，实现对任意物体的识别和分割。这一模型的推出，将极大地推动计算机视觉领域的发展，并使得图像分割技术进一步普及化。

        论文地址：https://arxiv.org/abs/2304.02643

        项目地址：Segment Anything

1.2 使用方法

        具体使用方法上，Segment Anything 提供了简单易用的接口，用户只需要通过提示，即可进行物体识别和分割操作。例如在图片处理中，用户可以通过 Hover & Click 或 Box 等方式来选取物体。值得一提的是，SAM 还支持通过上传自己的图片进行物体分割操作，提取物体用时仅需数秒。

        总的来说，Meta AI 的 Segment Anything 模型为我们提供了一种全新的物体识别和分割方式，其强大的泛化能力和广泛的应用前景将极大地推动计算机视觉领域的发展。未来，我们期待看到更多基于 Segment Anything 的创新应用，以及在科学图像分析、照片编辑等领域的广泛应用。

2 交互式分割代码实现

2.1 用于生成显示掩膜的函数（初始化）

        里面包含三个封装好的函数，一个是生成掩膜（分割的轮廓）的函数，一个是显示标记点（自己选择需要分割的目标）的函数。

def show_mask(mask, ax, random_color=False):
    if random_color:
        color = np.concatenate([np.random.random(3), np.array([0.6])], axis=0)
    else:
        color = np.array([30 / 255, 144 / 255, 255 / 255, 0.6])
    h, w = mask.shape[-2:]
    mask_image = mask.reshape(h, w, 1) * color.reshape(1, 1, -1)
    ax.imshow(mask_image)


def show_points(coords, labels, ax, marker_size=25):
    pos_points = coords[labels == 1]
    neg_points = coords[labels == 0]
    ax.scatter(pos_points[:, 0], pos_points[:, 1], color='green', marker='o', s=marker_size, edgecolor='white',
               linewidth=1.25)
    ax.scatter(neg_points[:, 0], neg_points[:, 1], color='red', marker='o', s=marker_size, edgecolor='white',
               linewidth=1.25)

2.2 交互事件&分割掩膜

        这里在原始单点生成掩膜的基础上加入了鼠标点击的事件，可以实现点击后自动分割该点的目标，同时右键可以清楚当前窗口所有的掩膜。

def select_point(event):
    # 鼠标点击事件
    global predictor, img_raster, image  # 声明全局变量
    if event.button == 1:
        x, y = event.xdata, event.ydata
        input_point = np.array([[int(x),int(y)]])
        # 单点 prompt  输入格式为(x, y)和并表示出点所带有的标签1(前景点)或0(背景点)。
        input_label = np.array([1])  # 点所对应的标签
        masks, scores, logit = predictor.predict(
            point_coords=input_point,
            point_labels=input_label,
            multimask_output=False,  # 为False时，它将返回一个掩码
        )
        # print(masks.shape)  # (3, 2160, 3840)波段，高，宽
        for i, (mask, score) in enumerate(zip(masks, scores)):
            # 三个置信度不同的图
            show_mask(mask, plt.gca())
            img_raster[mask] = 1
            show_points(input_point, input_label, plt.gca())
            print("[%s]坐标：%s，%s已分割完成......" % (datetime.now().strftime('%Y-%m-%d %H:%M:%S'), int(x), int(y)))
    if event.button == 3:  # 如果点击了鼠标右键
        print("[%s]正在清除内容......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
        img_raster = np.zeros((image.shape[0], image.shape[1]))  # 覆盖原来的掩膜，全新的0数组
        plt.clf()  # 清楚所有图形
        plt.imshow(image)  # 显示原始图片
        plt.axis('off')  # 不显示坐标系
    plt.draw()  # 更新窗口中的图片

2.3 基础函数&模型加载

        这里是分割的图片加载、模型加载、参数设置，里面链接了之前的鼠标点击事件，可以整体实现左键点击分割目标，右键删除所有目标。

global predictor, img_raster, image  # 声明全局变量
print("【程序准备阶段】")
print("[%s]正在读取图片......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
image = cv2.imread(image_path)  # 读取的图像以NumPy数组的形式存储在变量image中
print("[%s]正在转换图片格式......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  # 将图像从BGR颜色空间转换为RGB颜色空间，还原图片色彩（图像处理库所认同的格式）
print("[%s]正在初始化模型参数......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
img_raster = np.zeros((image.shape[0], image.shape[1]))
# 创建一个二维数组，用于保存掩膜做栅格转面
fit = plt.figure(figsize=(15, 15))
plt.imshow(image)
sys.path.append("..")  # 将当前路径上一级目录添加到sys.path列表，这里模型使用绝对路径所以这行没啥用
sam_checkpoint = model_path  # 定义模型路径
model_type = model_type  # 定义模型类型
device = device  # "cpu"  or  "cuda"
sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)
sam.to(device=device)  # 定义模型参数
predictor = SamPredictor(sam)  # 调用预测模型
predictor.set_image(image)
# 调用`SamPredictor.set_image`来处理图像以产生一个图像嵌入。`SamPredictor`会记住这个嵌入，并将其用于随后的掩码预测
print("【单点分割阶段】")
print("[%s]正在分割图片......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
fit.canvas.mpl_connect('button_press_event', select_point)
# 窗口点击事件
plt.axis('off')
plt.show()
print("【结果保存阶段】")
print("[%s]正在保存分割数据......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
driver = gdal.GetDriverByName('GTiff')  # 载入数据驱动，用于存储内存中的数组
ds_result_raster = driver.Create(out_path, image.shape[1], image.shape[0], bands=1, eType=gdal.GDT_Float64)
ds_result_raster.GetRasterBand(1).SetNoDataValue(0)  # 将无效值设为0
ds_result_raster.GetRasterBand(1).WriteArray(img_raster)  # 将结果写入数组

3 实现效果

        这里我选择了多个点，每个点都是通过鼠标左键点击生成的掩膜，单点鼠标右键可以清空整个窗口的所有掩膜。事实上，实现多点、正负点、矩形+负点的交互式操作会大大减少我们的工作量，但我没什么精力所以就没往后继续写了。大家如果有兴趣可以自己去实现，然后分享给我（手动偷笑）。