图像修复 : 基于条件纹理和结构并行生成的图像修复【ICCV 2021 测评】
图像修复 ICCV 2021 文章测评：代码简洁、很直观，论文阅读体验甚好，推荐学习
- 没有细看，论文是否提到 BaseLine ，不过感觉就是 似曾相识，可能是之前看的论文太多了
- 网络结构、大体就是那样、变过来、变过去、细节决定 提升效果，再理论升华
- 好家伙、让我说的好像有键盘就能写似的
- 不能的，都是大佬们的大作，除了佩服还是佩服
- 条条大路通罗马 ，吾辈当自强，各位 AI 之路的小伙伴们，共勉
- 论文简单解析，请查阅 图像修复 : ICCV 2021 基于条件纹理和结构并行生成的图像修复【翻译】
版权: 本文由【墨理学AI】原创首发、各位读者大大、敬请查阅、感谢三连
声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️
- 图像修复-代码环境搭建-知识总结
- 博主：墨理，2020年硕士毕业，目前从事图像算法，AI工程化 相关工作
文章目录
-
- 基础信息
- 代码准备
- 环境搭建
- 测试运行
- 修复效果示例
- 此次运行源码结构如下
- 训练
- 此次博文测评代码分享
- 预祝各位 前途似锦、可摘星辰
基础信息
- https://github.com/Xiefan-Guo/CTSDG
- https://arxiv.org/pdf/2108.09760.pdf
- 论文中文翻译+一点解析，希望能够带给大家一些新的思考和信心
摘要翻译：
深度生成方法最近通过引入结构先验在图像修复方面取得了相当大的进展。然而，由于在结构重建过程中缺乏与图像纹理的适当交互，当前的解决方案无法处理具有大损坏的情况，并且通常会出现失真的结果。在本文中，我们提出了一种用于图像修复的新型双流网络，它以耦合的方式对结构约束纹理合成和纹理引导结构重建进行建模，以便它们更好地相互利用以获得更合理的生成。此外，为了增强全局一致性，设计了双向门控特征融合 (Bi-GFF) 模块来交换和组合结构和纹理信息，并开发了上下文特征聚合 (CFA) 模块来按区域细化生成的内容亲和力学习和多尺度特征聚合。在 CelebA、Paris StreetView 和 Places2 数据集上的定性和定量实验证明了所提出方法的优越性
输入 - 过程（重建的结构） - 输出（修复图像） - 真实图像
创新点
- CelebA[16], Paris StreetView [4] and Places2 [39] datasets for evaluation.
- Qualitative and quantitative results demonstrate [ 定性 定量评估 ]
- our model significantly outperforms the state-of-the-art.
- The main novelties and contributions are as follows:
代码准备
下载，Git 代码、和 预训练模型，解压，放置到对应位置
unzip CTSDG-main.zip
unzip Checkpoints-20220406T085349Z-001.zip
下载，修复相关数据集
- 图像修复使用率最高数据集总结
- 安置数据集（示例如下）
mkdir data
环境搭建
conda create -n torch11 python=3.6.9
conda activate torch11
conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch
## cd CTSDG-main/
## 看到 requirements.txt
pip install -r requirements.txt
测试运行
Testing ：To test the model, you run the following code. .
- 官方 给出的测试命令如下
- 我们只需要配置对应目录即可
- 这里以 celeba 示例图像 进行测试，数据集设置方式、大家自行参考即可
- 其它数据集，也可测试、运行命令 路径设置正确，即可成功运行
python test.py \
--pre_trained [path to checkpoints] \
--image_root [path to image directory] \
--mask_root [path to mask directory] \
--result_root [path to output directory] \
--number_eval [number of images to test]
按照此次目录结构设置、成功测试运行的 cmd 命令如下：
python test.py --pre_trained Checkpoints/celeba.pt --image_root data/celebA/val/ --mask_root data/mask20/val/ --result_root results/ --number_eval 10
运行成功，输出如下
python test.py --pre_trained Checkpoints/celeba.pt --image_root data/celebA/val/ --mask_root data/mask20/val/ --result_root results/ --number_eval 10
# 输出如下
Cuda is available
OrderedDict([('pre_trained', 'Checkpoints/celeba.pt'),
('image_root', 'data/celebA/val/'),
('mask_root', 'data/mask20/val/'),
('num_workers', 4),
('batch_size', 1),
('load_size', (256, 256)),
('sigma', 2.0),
('mode', 'test'),
('result_root', 'results/'),
('number_eval', 10)])
start test...
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:02<00:00, 3.54it/s]
GPU 峰值占用 7585M
修复效果示例
上面测试对应的输入图像：
预训练模型，修复效果如下：
此次运行源码结构如下
仅供参考
训练
训练部分，可以参考论文，先训练、再精调
官方ReadMe 还给出了 分布式训练（ 如果数据集比较大、多服务器，有兴趣可尝试 ）
参考论文、合理安排数据即可、应该不难复现（的确不难、建议大家去尝试）
- 训练部分大家需要注意的细节，下图基本已经帮大家（新同学）标注清楚了
- 第一阶段训练（达到间隔保存迭代次数、才会进行模型保存）
- 第二阶段精调（ --pre_trained 指定 --save_dir 参数 路径下保存的模型即可 ）
- 有兴趣折腾的，把这个代码折腾明白了、图像修复跑代码，通常也就没啥逻辑上的问题了
此次博文测评代码分享
关注 墨理学AI ，关键词 ：
20220120
预祝各位 前途似锦、可摘星辰
- 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️
- ❤️ 如果文章对你有帮助、点赞、评论鼓励博主的每一分认真创作
- 深度学习模型训练推理——基础环境搭建推荐博文查阅顺序【基础安装—认真帮大家整理了】——【1024专刊】
计算机视觉领域 八大专栏、不少干货、有兴趣可了解一下
- ❤️ 图像风格转换 —— 代码环境搭建 实战教程【关注即可阅】！
- 图像修复-代码环境搭建-知识总结 实战教程 【据说还行】
- 超分重建-代码环境搭建-知识总结 解秘如何让白月光更清晰【脱单神器】
- YOLO专栏，只有实战，不讲道理 图像分类【建议收藏】！
-
深度学习：环境搭建，一文读懂
-
深度学习：趣学深度学习
-
落地部署应用：模型部署之转换-加速-封装
-
CV 和 语音数据集：数据集整理
-
最近更新：2022年4月30日
-
点赞 收藏 ⭐留言 都是博主坚持写作、更新高质量博文的最大动力！
