【图像拼接（Image Stitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用说明、创新思路分享等（不定期更新）

---

前言

为什么会有这篇文章？

• 因为专栏简介里写不下太多东西，只能通过这篇文章和大家交流，算是一个专栏阅读指南吧。

说点心里话

• 本来吧，我只想用CSDN来记录自己学习【图像拼接】领域论文的过程，对每篇文章有个细致的理解，方便自己反复查阅。设置为付费也是因为涉及论文和本人其他项目需要，防止查重和其他问题，所以价格最开始设置的是专栏付费价格里最高的。起初，确实没有人看，一切也都平淡地度过着。直到我毕业了走上工作岗位后，我才发现原本我以为的非常小众的研究领域竟然有这么多人在关注，私信我的朋友很多，大多是硕士博士要搞这方面的研究，而且导师可能比较放养。慢慢地订阅也开始多了起来，我发现后立马降低了专栏价格，以一个平台分成后算是比较合理的价格设置。由于【图像拼接】领域过于小众，难度大，门槛高，研究的人少，需要数学和图形学的基础支撑，做讲解、教程的人也少，我仗着自己在该领域摸爬滚打了解过几年，斗胆做了这样一个专栏，供需要该领域研究的学者们快速阅读理解图像拼接论文。

• 虽然工作了，但是该专栏永久更新，有新的图像拼接（Image Stitching）领域论文诞生，我会第一时间给大家做论文精读。

• 有源码的论文，源码解读会在另一个专栏更新，不过会慢一些因为需要花时间去研究。基于传统特征的方法大多数是matlab的，基于深度学习的方法是python的，一定会更新的。大家可以关注一下。图像拼接论文源码精读专栏：图像拼接论文源码精读

• 感谢大家听我说了这么多流水账，我会把该领域的论文和源码做好的，决不辜负订阅这个专栏的人。

专栏简介

图像拼接领域及方向的论文精读，包括论文各部分理解、复现以及总结延申。论文包括基于传统特征的图像拼接方法和基于深度学习的图像拼接论文。对应的源码解读请见另一个专栏，两部分同步阅读。从原理解读、算法推导，再到源码复现，带领你深入理解图像拼接在现有技术基础之上的最新研究成果。

论文需要略读和精读，一些没有源码的文章我可能就粗略一点，可以作为增长见识和拓展思路来阅读，一些有源码的顶会/顶刊文章需要精读，我会写的比较细致，除了搞懂思路和创新点，也要在其中学到知识，如何为己所用，如何寻找创新点并实现。

该专栏并不仅仅是机械的翻译文章而已，而是在阅读的过程中体会，如何阅读文献，如何寻找创新点，如何自己写论文。毕竟，都是要发文章的，不看别人怎么写的，自己怎么会写呢。

其实最简单的也是大家最常用的办法，就是先写中文论文，再翻译成英文，最后润色。

那么中文论文是怎么来的呢？图像拼接领域的一些词汇如何表述才能翻译的更精准呢？那就是看本专栏了。

除此之外，本专栏文章的公式全部按照原文章的公式书写，有需要markdown公式的朋友可以留言或者私信我。CSDN的markdown语法有的和overleaf不太一样，写论文的时候注意一下。

适用人群

研究图像拼接领域的硕士、博士和其他该领域工作者。帮助你快速上手，入门科研，入门图像拼接。

如果你的导师不懂该领域，又放养你，你很迷茫，不知道该在哪学习，那这篇专栏就再合适不过了。看看你是对传统图像拼接感兴趣，还是对基于深度学习的图像拼接感兴趣。

如果你已经在该领域学习一段时间，有一定的基础，那么可以直接去订阅【图像拼接源码精读】专栏，毕竟发文章还是得做实验跑代码的，读懂代码，才能知道如何改进，如何创新。不建议没有任何图像拼接基础的同学直接订阅【图像拼接源码精读】专栏，因为本专栏不仅有论文精读，还又一些基础的图像拼接相关的知识，比如单应、TPS、图割等等，还涉及很多图形学的知识，比如刚性变换，三角剖分，网格变形，超像素等。图像拼接是个很庞大的工作流程，每个步骤都可以单独拿出来进行改进，所以还是尽可能多的阅读论文，了解思路。

要明确你的目标，是为了发文章毕业，还是为了搞算法研究，还是为了工程项目。

使用方法

如果电脑分屏阅读，那就原论文一个屏幕，本专栏文章一个屏幕，对照着阅读。
如果没有菊花链这样的多显示器，那就使用ipad或者手机等，尽量保证原文和精读文章同时显示。
实在没有，就同一个屏幕一边一半显示。
如果用手机或者pad阅读，则建议先大概看一下原文，有点了解之后再直接看本专栏文章。

论文本身重点关注：摘要，创新点部分（一般在介绍部分结尾，相关工作之前。作者会列出来），算法部分，实验部分。其中：

• 摘要和创新点部分主要了解作者做了什么事，解决了什么问题。如果它是基于某篇论文创新的，那么要先了解上一篇工作的大概算法；
• 算法部分重点说一下，如果你想快速理解并上手，那么就忽略繁琐的公式，尽量用纸笔简单的过一遍。因为图像拼接就是参照图和目标图，warp后一顿折腾，跟着走一遍比较顺畅。论文中的公式大多写的比较繁琐的原因是因为它是论文，不是教程，只是让你看着高端。其实有的公式，很简单就能写明。我倒不是吐槽，而是告诉你，当你发论文的时候，你也要这么写。所以，算法部分除了理解，更多的是要学习它的写法，用在你自己要发的论文里。最后，着重注意有参数的公式、用了某些函数的公式，因为那可能是你创新的依据和来源。比较简单的创新就是调参，比较高端的创新就是改公式。比如创造能量函数，给能量函数添加项等。
• 实验部分：重点看原作者是怎么做实验的，如何对比说明的自己的方法比SOTA方法更好。要随时记录，尽可能地让实验丰富。纵向对比，横向对比，消融实验等。注：不一定所有的待拼接图像在某个算法上的效果都好，那不成神仙了。论文作者只是挑了比较好的结果展示，你得自己动手跑一下，试一下，看一看，想想为啥有的图像拼接效果不好。这不就分析出特征了吗？没准科研就是思路了，研究方向就有了。

本专栏还是更多的让大家会读论文，试着写论文，至于论文的内容，如何创新，如何读代码，做实验，更多的细节和想法还是写在另一个专栏中。

本专栏的文章中，会有我自己读该论文时候的心得体会和吐槽，会用红色标注出来。另外，有的文章我会自己总结，还会展示展示不同数据集上的效果。

阅读顺序

专栏中的文章标题有缩写的是比较经典的，可以作为论文中实验部分的比较方法。是必看的！而且代码也要跑通，得能跑出结果才能展示实验，对比结果。

基于传统方法的图像拼接：AutoStitch、APAP、AANAP、SPW、LPC、GSP、GES-GSP

AANAP是在APAP基础上实现的，LPC是在SPW基础上实现的，代码风格类似，matlab实现的
GSP、GES-GSP是C++实现的
其他：SPHP、ELA等，代码风格差异很大，各自单独看即可。

基于学习的图像拼接：UDIS，UDIS++

基于学习的图像拼接论文包含机器学习和深度学习。
其他：有两篇R1约束的文章不错，是基于机器学习的。matlab实现。其余的基本是python实现。

20231130更新：目前基于深度学习的论文精读写的比较少，后面狂补。基于传统方法的SOTA方法基本都涉及到了，有漏的后面我再补上，正在写源码精读专栏，matlab生疏了，敬请期待。目前主要更新基于深度学习的图像拼接方法，既是主流研究方向，具有实时性，而且比较容易创新，所以暂时以其为主。

潜在的创新方向

图像拼接工作流程：

基于传统的图像拼接方法基本上是照着如上步骤进行的。在论文中可以叫pipline，overview等。两张图像经过预处理、特征匹配、图像翘曲（warp）、图像融合最后得到拼接结果。可以创新的步骤有：特征检测与匹配、图像翘曲、图像融合。

特征检测与匹配：单拿出来已经在图像配准领域发展的很好了，有很多深度学习的特征匹配算法。但是不能单拿出来用到图像拼接流程里，因为特征没有sift准，感受野也不同。如果你想特征匹配用深度学习的方法，那么就要考虑后面的流程如何改进。

图像翘曲：从全局单应到局部单应是创新，从局部单应的网格变形再到三角剖分和超像素是创新，现在的发展就是机器学习、深度学习去学习出翘曲后的图像。那么问题就是无法标注真值，所以无监督比较火，也是现在聂大佬在做的。机器学习用约束限制，23年CVPR也发过文章，不知道以后能不能发展起来。除此之外，可以考虑重叠区域和非重叠区域的平滑问题，这也有很多人做过了，但是可以试试不同的方法。

图像融合：常规的融合方法，加权平均融合，接缝线融合，接缝线融合还能玩出花来吗？换目标函数没准是个思路。有用sigmoid的。廖老师有几篇不错的基于接缝线的融合，可以多看看。单独拿出来看看图像融合领域的文章不知道能不能有思路。

除了这些，全景图后处理也是不错的研究方向。聂大佬这两年就改进了何凯明的两篇图形学文章，全景拼接图矩形化和图像内容旋转矫正的。都是用深度学习改进的，读一读看看能不能改进提升。

还有一些手段可以尝试作为思路：颜色修正，直方图平滑，光照等因素。

以上提到的文章不出意外都会出现在本专栏中，有源码的也会出现在另一个专栏中。

更多详细的【图像拼接】研究思路和创新见专栏中的其他文章，比较详细。这里仅作为一个概述。

订阅专栏的同学有问题随时私信我，看见了都会回复。

最后，感谢大家厚爱，共同努力。

【图像拼接论文精读】专栏文章目录

1. Seam Carving for Content-Aware Image Resizing
2. As-Rigid-As-Possible Shape Manipulation（ARAP）
3. Adaptive As-Natural-As-Possible Image Stitching（AANAP）
4. Shape-Preserving Half-Projective Warps for Image Stitching（SPHP）
5. Seam-Driven Image Stitching
6. Parallax-tolerant Image Stitching
7. Parallax-Tolerant Image Stitching Based on Robust Elastic Warping（ELA/REW）
8. SuperPoint: Self-Supervised Interest Point Detection and Description
9. As-Projective-As-Possible Image Stitching with Moving DLT（APAP）
10. Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching（LPC）
11. Single-Perspective Warps in Natural Image Stitching（SPW）
12. Local-Adaptive Image Alignment Based on Triangular Facet Approximation（TFA/TFT）
13. Image stitching method by multi-feature constrained alignment and colour adjustment
14. Natural Image Stitching Using Depth Maps
15. Perception-based seam cutting for image stitching
16. Stable Linear Structures and Seam Measurements for Parallax Image Stitching