Poison Ink: Robust and Invisible Backdoor Attack 论文笔记

1. 论文信息

论文名称	Poison Ink: Robust and Invisible Backdoor Attack
作者	Jie Zhang（中国科学技术大学）
会议/出版社	IEEE Transactions on Image Processing
pdf	在线pdf

2. introduction

文章提出了一种新的攻击方式称为“Poison Ink”，将毒性信息隐藏到图像的边缘信息中。通过对边缘信息进行加毒，生成更具有鲁棒性的后门模型。

Poison Ink 中的 trigger 具有以下的性质：

1. 给模型加入后门，但是不影响原本任务的性能
2. trigger 经过 data transform 也能保持其鲁棒性
3. 这种 trigger 是隐形的

具有这种性质的原因：

1. 改变的是 low-level structure information，the final decision of DNN [20] often depends on the object texture rather than the structure information
2. 由于是分布在整个图像中的，所有对于数据增强更具鲁棒性
3. 边缘信息属于图像的高频部分，更难被发现

3. method

模型流程图：

目标：训练出 Injection Network （IN），使用 Injection Network （IN）对数据加毒​

Injection Network 的训练

• trigger pattern generation

  1. 通过 Sobel 或者 Canny 提取图像的边缘信息
  2. 改变边缘的颜色

实验中加入的颜色：(R:240, G:120, B:20)

• Injection network

  • 将干净图片和改变了颜色的边缘图像 concatenate

    

  • 论文的图片没有画全，这一部分由 UNet 和 PatchGAN 组成

    通过实验部分描述知道：For trigger image generation, we simply adopt the UNet [42] and the PatchGAN [43] as the default network structure of IN and the discriminator D respectively

  • loss function

    • invisibility loss:

      ${\mathcal{L}}_{inv}=\underset{x_i^c\in {\mathbb{X}}^c}{E}\left[{\Vert x_i^p-x_i^c\Vert }^k\right]$

      loss 的作用是减小 clean image 和 posion image 的差别（invisible）

    • adversarial loss:

      ${\ell }_{adv}=\underset{x_i^c\in {\mathbb{X}}^c}{E}\log \left(D\left(x_i^c\right)\right)+\underset{x_i^p\in {\mathbb{X}}^p}{E}\log \left(1-D\left(x_i^p\right)\right)$

      使用 adversarial discriminator 去判断该图片是 clean image 还是 posion image

      借鉴 GAN 的思想，生成和原图片接近的 posion image

• Guidance extractor

  • Interference layer

    对 Injection network 生成的图片进行一系列的数据增强

    

  • GE 的目标

    • clean image 通过 GE 应该生成 clean Map
    • posion image 通过 GE 应该生成 posion map

  • loss function

    • trigger extraction loss $L_{te}$
    • clean loss $L_{cl}$

    $\begin{array}{rl}{\mathcal{L}}_{GE}& ={\mathcal{L}}_{te}+\lambda \cdot {\mathcal{L}}_{cl},\\ {\mathcal{L}}_{te}& =\underset{x_i^p\in {\mathbb{X}}^p}{E}\left[{\Vert GE\left(x_i^p\right)-{\mathbf{p}}_i\Vert }_2\right]\\ {\mathcal{L}}_{cl}& =\underset{x_i^c\in {\mathbb{X}}^c}{E}\left[{\Vert GE\left(x_i^c\right)-\mathbf{C}\Vert }_2\right]\end{array}$

• the injection network IN and the guidance network GE are jointly trained

  ${\mathcal{L}}_{total}={\mathcal{L}}_{IN}+\gamma \cdot {\mathcal{L}}_{GE}$

4. experiments

4.1 数据集

dataset：CIFAR10 ImageNet GTSRB VGGFACE

选取了 50 个干净数据生成 posioned images

4.2 评价指标

• “Clean Data Accuracy (CDA)”
• “Attack Success Rate (ASR)”
• “PSNR, SSIM and LPIPS”