黑洞成像背后的算法 | 图像处理与反问题
昨天，人类第一张黑洞图像被拍出来了。我也来回顾下黑洞背后的成像原理。
本文很多资料来自我老板的课程：
http://bicmr.pku.edu.cn/~dongbin/Teaching_files/图像处理中的数学方法-18-19/index.html
和ted talk
https://www.ted.com/talks/katie_bouman_what_does_a_black_hole_look_like?language=en
[演讲者是mit csail phd今年开始在caltech任教]
图像处理经常被处理成反问题
什么是反问题
考虑正问题
,
是观测噪声，反问题就是在有了观测
的条件下怎么获得真实图片u
如果A是一个恒同算子，反问题就是去燥
如果A是一个模糊，反问题就是去模糊
如果A是一个CT，反问题就是CT恢复
在将算法之前说一下这个问题意义，打个比方你要做核磁共振，你要绑在床上听着快一个小时噪声，那么你就希望这个算法进行sample 次数变少，那么如果我算法更厉害，你mri时间会越少。
有人说，这个问题简单就好了，那么如果A不可逆呢？
你说这个也简单，最小二乘啊，那么你就是没有考虑到－－观测噪声
考虑一个去模糊问题，如果有噪声，直接求逆结果会是怎么样的呢？
噪声在求逆的时候无数倍的被放大了，产生了棋盘一样的artifact
那么怎么解决问题呢？加入正则项！
这里的R的作用时
-
如果u不是“图片”，那么R值大一点
-
如果u像一张图片，R的值小一点
数学家就花了很久来构造R，第一个成功的是total variation，定义为
发明这个算法的stan osher教授也获得了应用数学最高奖 gauss 奖
https://www.math.ucla.edu/news/professor-stanley-osher-receives-highest-honor-applied-mathematics
当年这个算法也帮助LA破获了一起杀人案
那么我来介绍这次的算法
对于simulate数据
用了total variation的效果是
参考 project page：
http://vlbiimaging.csail.mit.edu/
为什么呢，为了达到这个分辨尺度，根据测不准原理，他们需要整个地球半径的天文望远镜。但是事实上我们造不出来这么大的望远镜，只能用九个观测站点的数据来做。这是一个高度不适定的反问题，那么需要更好的正则项。
设计正则项他们用到的想法是学习
From Learning Models of Natural Image Patches to Whole Image Restoration
https://people.csail.mit.edu/danielzoran/EPLLICCVCameraReady.pdf
他们用高斯混合模型对图片patch进行建模，学习出图片patch的distribution作为上面问题的正则项。
ted talk里面还讲到他们用了多个数据集去学习，用日常图片，宇宙照片，望远镜数据。。学习出来了很多个正则项，发现恢复出来的图片都是这样的图片。
更加深刻一点
其实这种做法和传统的sparse coding有很大的类似
G. Yu, G. Sapiro, and S. Mallat, Solving inverse problems with piecewise linear estimators:
From Gaussian mixture models to structured sparsity, IEEE Transactions on Image Processing,
21 (2012), pp. 2481–2499.
https://ieeexplore.ieee.org/document/6104390/
好处可能是
-
可以用到外部干净数据
-
非凸优化的局部最小值更少
Wipf David, Rao B D, Nagarajan S. Latent variable Bayesian models for promoting sparsity[J]. IEEE Transactions on Information Theory, 2011, 57(9): 6236-6255.
但是上面的分析都是单个gaussian的建模
据我所知用高斯混合模型来建模的理论分析到现在都很难。
顺便，这个小姐姐的研究都很有意思
最有名的可能是这个根据墙后的照相机判断墙后有没有人
http://people.csail.mit.edu/klbouman/cornercameras.html
来源：@知乎：2prime