计算摄影资源汇总

计算摄影资源汇总

计算摄影是一个交叉学科,融合了图像处理,光学,信号处理,计算机视觉,计算机图形学,优化,机器学习等各个领域,计算摄影最早在国外的大学里只是一个比较小众的研究方向,比如早期斯坦福大学的光场,相机阵列,以及杜克大学的多光谱成像等,基本还是停留在学术研究阶段,而且比起计算机领域的识别,检测,分割,跟踪等方向来说,计算摄影这块算是比较低调的一个研究方向。

这些年,随着智能手机拍照的兴起,计算摄影也获得了越来越多的关注,因为以前的单反相机,尺寸比较大,所以长焦比拼的都是镜头模组的设计,sensor 的尺寸等,对于图像处理其实并不太关注,但是智能手机由于受到设计尺寸的限制,以及各种约束,sensor 形成的图像质量和单反没法比,为了弥补硬件上的先天不足,所以智能手机的图像处理算法就需要不断的提升,从而促进了计算摄影这个交叉学科的发展。

现在各大手机厂商,多多少少都会用到计算摄影的相关技术,比如大家耳熟能详的超分,降噪,以及 HDR, demosaic,还有白平衡,深度估计,人像虚化等,都是计算摄影的相关技术,谷歌这几年随着自家手机 Pixel 的发展,在计算摄影领域积累了很多的技术,而且谷歌比较良心,基本上还会公开自己的相关技术,造福全人类,我也是 follow 了很多谷歌的 paper,对这个领域慢慢熟悉起来的。

国外研究计算摄影的团队相对国内来说,还是更加成熟,规模也更加大,不过这几年随着整个产业的发展,国内学术界,工业界对这块的关注也越来越多了,相信以后计算摄影这块会越来越繁荣。

相对计算视觉领域的其它方向比如识别,检测来说,计算摄影的门槛还是相对高一些的,主要是计算摄影涉及的知识面很广,而且也比较杂,需要花上一定的时间去慢慢地积累。

下面列出自己比较关注的计算摄影相关的课程资源及研究课题组:

课程资源

计算摄影入门,最好是系统地学习一两门课程,国外计算摄影的课程还是有一些的,比如卡耐基梅隆,麻省理工,斯坦福,布朗大学,加州伯克利等,我觉得这些课程里面, CMU 的计算摄影这门课程还是比较好的,比较系统,而且以及连续几年了,每年都会有些调整,将计算摄影领域的主要方向都有个介绍,最重要的是,这门课程还共享了配套的 PPT 和 PDF,可以收藏起来慢慢学习。

这门课程也给出了其它一些课程的链接,通过这门课程,基本可以对计算摄影从小白到入门了。

CMU 计算摄影:

http://graphics.cs.cmu.edu/courses/15-463/

经典教材

  • Computer Vision: Algorithms and Applications, by Richard Szeliski.
  • Multiple View Geometry in Computer Vision, by Richard Hartley and Andrew Zisserman.
  • Computer Vision: A Modern Approach, by David Forsyth and Jean Ponce.
  • Foundations of 3D Computer Graphics, by Steven Gortler.
  • Digital Image Processing, by Rafael Gonzalez and Richard Woods.
  • Photography, by Barbara London and John Upton.

研究课题组

一旦对计算摄影有了一定的基础知识,了解了计算摄影具体做什么,接下来就可以重点关注一些国内外的研究课题组,时不时地去看看业界大牛都在做什么,通过学习别人的研究,来不断夯实自己在这个领域的基础,下面给出我觉得在计算摄影领域比较有影响力的一些研究课题组。

Michael S. Brown

http://www.cse.yorku.ca/~mbrown/

  • 研究兴趣:ISP 流程,色彩
    Michael S. Brown 教授,现在是加拿大 York 大学的一名老师,对 ISP 成像流程有比较深入的研究,他之前做的 tutorial: ICCV 2019 _Tutorial_Understanding Color and the In-Camera Image Processing Pipeline for Computer Vision 对颜色及 ISP 流程有比较详细的介绍,是学习 ISP 流程比较好的一个 tutorial,这个老师对颜色及色彩理论也有研究。
Wolfgang Heidrich

https://vccimaging.org/People/heidriw/

  • 研究兴趣:计算成像,计算机图形学
    Wolfgang Heidrich 教授目前是沙特阿拉伯,阿普杜拉国王大学的计算机系的一名老师,对计算成像比较感兴趣,近几年主要对 DOE 及联合优化在做探索。
Felix Heide

https://www.cs.princeton.edu/~fheide/

  • 研究兴趣:计算成像,计算机图形学
    Felix Heide 目前是普灵斯顿大学的一名老师,师从 Wolfgang Heidrich,也是最早提出 Flex-ISP 的人,提出用优化的方法来实现端到端的 ISP 成像流程,现在随着深度学习的发展,端到端的实现 ISP 成像已经越来越流行了。
Gordon Wetzstein

https://stanford.edu/~gordonwz/

  • 研究兴趣:计算成像,光场
    Gordon Wetzstein 目前是斯坦福大学计算成像实验室的负责人,目前主要是研究计算成像及光场显示技术。
Jon Barron

https://jonbarron.info/

  • 研究兴趣:计算摄影,计算机图形学
    Jon Barron 是谷歌计算摄影团队的研究员,谷歌计算摄影团队这几年发表了很多高质量的研究论文,比如 HDR,人像虚化,深度估计,降噪,超分,暗光成像等,而且基本都随着 paper 发布了源码。真是业界良心。
Ren Ng

https://www2.eecs.berkeley.edu/Faculty/Homepages/yirenng.html

  • 研究兴趣:计算摄影,光场成像
    Ren Ng 现在是加州伯克利的一名老师,之前光场相机公司 Lytro 的创始人,算是最早做光场成像的一批人,而且也算是最早把光场相机做到消费级的大牛,从斯坦福博士毕业之后,就去创业,创办了 Lytro, 不过好像 2014 年,Ren Ng 就离开了 Lytro 加入了 UBC, 现在 Lytro 也被谷歌收购了,看来牛逼的技术,找不到商业变现,也是不行的。
Marc Levoy

http://graphics.stanford.edu/~levoy/

  • 研究兴趣:计算摄影
    Marc Levoy 教授目前是谷歌计算摄影团队的负责人,之前是斯坦福大学的教授,Ren Ng 的导师,也是最早做光场成像的大牛,不过后来去了谷歌,带领了一帮技术牛人,将谷歌的计算摄影一步一步做大,成为业界最顶尖的计算摄影团队,谷歌大概是将单目成像发挥到极致的团队了。Marc Levoy 教授 本身也是一个摄影发烧友。
Michal Irani

http://www.weizmann.ac.il/math/irani/home

  • 研究兴趣:计算机视觉
    Michal Irani 教授是以色列 Weizmann Institute of Science (魏茨曼科学研究学院) 的一名老师,对图像纹理的内在统计规律有着很深入的研究,提出了很多基于单帧图像的 GAN 模型。
William Freeman

https://billf.mit.edu/

  • 研究兴趣:计算机图形学,计算摄影
    William Freeman 教授是 MIT 多媒体实验室及人工智能实验室的老师,这应该也是一个知名度比较高的学者了,在计算摄影,计算机图形学领域有很高的建树
Fredo Durand

http://people.csail.mit.edu/fredo/

  • 研究兴趣:计算机图形学,计算摄影
    Fredo Durand 教授也是 MIT 多媒体实验室及人工智能实验室的老师,同样也是一位业界大牛。
Lei Zhang

http://www4.comp.polyu.edu.hk/~cslzhang/

  • 研究兴趣:计算机视觉,计算摄影
    张磊教授是香港理工大学的一名老师,这几年也开始对计算摄影越来越关注了,和哈工大的左旺孟老师在图像降噪,超分,去模糊等方向做了很多研究和探索。
Qionghai Dai

http://media.au.tsinghua.edu.cn/

  • 研究兴趣:计算成像
    在国内搞计算成像的,估计应该都知道戴琼海老师,清华大学教授,中国工程院院士,戴琼海老师在光场成像,计算成像领域也深耕了多年。
Boxin Shi

http://ci.idm.pku.edu.cn/

  • 研究兴趣:计算摄影,计算机图形学习
    施柏鑫老师是北大计算成像实验室的负责人,算是国内搞计算成像比较知名的一个团队,对 ISP 成像,新型器件成像领域有很多研究。

暂时就列这么多,后面有更新再说吧。

你可能感兴趣的:(计算摄影与图像处理)