计算机视觉CV、计算机图形学CG、数字图像处理IP的区别和联系

一、名词解释

计算机视觉（Computer Vision）简称CV

有时候老师会称之为vision，听到的时候应该明白是什么。

维基百科对其定义 (2019.6) 是：

Computer vision is an interdisciplinary field that deals with how computers can be made to gain high-level understanding from digital images or videos. From the perspective of engineering, it seeks to automate tasks that the human visual system can do. "Computer vision is concerned with the automatic extraction, analysis and understanding of useful information from a single image or a sequence of images. It involves the development of a theoretical and algorithmic basis to achieve automatic visual understanding." As a scientific discipline, computer vision is concerned with the theory behind artificial systems that extract information from images. The image data can take many forms, such as video sequences, views from multiple cameras, or multi-dimensional data from a medical scanner. As a technological discipline, computer vision seeks to apply its theories and models for the construction of computer vision systems.

计算机视觉是一个跨学科领域，涉及如何使计算机从数字图像或视频中获得高层次的理解。从工程的角度来看，它寻求自动化人类视觉系统可以完成的任务。 “计算机视觉涉及从单个图像或一系列图像中自动提取，分析和理解有用信息。它涉及开发理论和算法基础以实现自动视觉理解。”作为一门科学学科计算机视觉关注从图像中提取信息的人工系统背后的理论。图像数据可以采用多种形式，例如视频序列，来自多个相机的视图或来自医学扫描仪的多维数据。作为一门技术学科，计算机视觉旨在将其理论和模型应用于计算机视觉系统的构建。

计算机图形学（Computer Graphics）简称CG

维基百科对其定义 (2019.6) 是：

Computer graphics is a sub-field of Computer Science which studies methods for digitally synthesizing and manipulating visual content. Although the term often refers to the study of three-dimensional computer graphics, it also encompasses two-dimensional graphics and image processing.

计算机图形学是计算机科学的一个分支，研究数字合成和处理视觉内容的方法。虽然这个术语通常指的是三维计算机图形学的研究，但它也包括二维图形和图像处理。

图像处理（Image Processing）简称IP

维基百科HRS Academy对其定义是：

In imaging science, image processing is processing of images using mathematical operations by using any form of signal processing for which the input is an image, a series of images, or a video, such as a photograph or video frame; the output of image processing may be either an image or a set of characteristics or parameters related to the image. Most image-processing techniques involve treating the image as a two-dimensional signal and applying standard signal-processing techniques to it. Images are also processed as three-dimensional signals where the third-dimension being time or the z-axis.

在成像科学中，图像处理是使用数学运算处理图像，使用输入为图像、一系列图像或视频(如照片或视频帧)的任何形式的信号处理;图像处理的输出可以是图像，也可以是与图像相关的一组特征或参数。大多数图像处理技术都将图像处理为二维信号，并应用标准的信号处理技术。图像也被处理为三维信号，其中三维是时间或z轴。

Image processing usually refers to digital image processing, but optical and analog image processing also are possible. Image processing is a method to convert an image into digital form and perform some operations on it, in order to get an enhanced image or to extract some useful information from it. It is a type of signal dispensation in which input is image, like video frame or photograph and output may be image or characteristics associated with that image. Usually Image Processing system includes treating images as two dimensional signals while applying already set signal processing methods to them. The acquisition of images (producing the input image in the first place) is referred to as imaging.

图像处理通常是指数字图像处理，但光学和模拟图像处理也可以。图像处理是一种将图像转换成数字形式并对其进行一些操作，从而获得增强图像或从中提取一些有用信息的方法。它是一种信号分配，其中输入是图像，就像视频帧或照片，输出可以是图像或与该图像相关的特征。通常图像处理系统包括将图像作为二维信号处理，同时对其应用已有的信号处理方法。获取图像(首先生成输入图像)称为成像。

维基百科对Digital image processing的定义(2019.6)是：

In computer science, digital image processing is the use of computer algorithms to perform image processing on digital images. As a subcategory or field of digital signal processing, digital image processing has many advantages over analog image processing. It allows a much wider range of algorithms to be applied to the input data and can avoid problems such as the build-up of noise and signal distortion during processing. Since images are defined over two dimensions (perhaps more) digital image processing may be modeled in the form of multidimensional systems.

在计算机科学中，数字图像处理是使用计算机算法对数字图像执行图像处理。作为数字信号处理的子类别或领域，数字图像处理与模拟图像处理相比具有许多优点。它允许将更广泛的算法应用于输入数据，并且可以避免诸如处理期间噪声和信号失真的累积等问题。由于图像是在两个维度（可能更多）上定义的，因此可以以多维系统的形式对数字图像处理进行建模。

二、区别与联系

2.1 精简的概括

        Computer Graphics 和 Computer Vision 是同一过程的两个方向。Computer Graphics将抽象的语义信息转化成图像，Computer Vision从图像中提取抽象的语义信息。Image Processing探索的是从一个图像或者一组图像之间的互相转化和关系，与语义信息无关。

2.2 从输入输出角度看

(1)区别

1. Computer Graphics，简称 CG 。输入的是对虚拟场景的描述，通常为多边形数组，而每个多边形由三个顶点组成，每个顶点包括三维坐标、贴图坐标、rgb 颜色等。输出的是图像，即二维像素数组。
2. Computer Vision，简称 CV。输入的是图像或图像序列，通常来自相机、摄像头或视频文件。输出的是对于图像序列对应的真实世界的理解，比如检测人脸、识别车牌。
3. Digital Image Processing，简称 DIP。输入的是图像，输出的也是图像。Photoshop 中对一副图像应用滤镜就是典型的一种图像处理。常见操作有模糊、灰度化、增强对比度等。

直白点说：

1. 计算机图形学的输入是模型，输出是图像（像素）
2. 计算机视觉的输入是图像（摄像机拍摄的照片或视频），输出是模型
3. 数字图像处理的输入是图像（像素），输出也是图像（像素）

(2)联系

• CG 中也会用到 DIP，现今的三维游戏为了增加表现力都会叠加全屏的后期特效，原理就是 DIP，只是将计算量放在了显卡端。
• CV 更是大量依赖 DIP 来打杂活，比如对需要识别的照片进行预处理。

        最后还要提到近年来的热点——增强现实（AR），它既需要 CG，又需要 CV，当然也不会漏掉 DIP。它用 DIP 进行预处理，用 CV 进行跟踪物体的识别与姿态获取，用 CG 进行虚拟三维物体的叠加。

(3)图解

        这里还有一张图，简明地表达了CV、CG、DIP和AI的区别和联系。

2.3 从问题本身看

(1)区别

        从问题本身来说，这三者主要以两类问题区分：是根据状态模拟观测环境，还是根据观测的环境来推测状态。假设观测是Z，状态是X：

1. Computer Graphics是一个Forwad Problem (Z|X)： 给你光源的位置，物体形状，物体表面信息，你如何根据已有的变量的状态模拟出一个环境出来。
2. Computer Vision正好相反，是一个Inverse Problem (X|Z)：你所有能得到的都是观测信息(measurements), 根据得到的每一个Pixel的信息(颜色，深度)，我要来估计物体环境的特征和状态出来，比如物体运动(Tracking)，三维结构（SFM）,物体类别（Classification and Segmentation）等等。
3. 对于Image Processing来说，它恰好介于两者之间，两种问题都有。但对于State-of-art的研究来说，Image Processing更偏于Computer Vision, 或者看上去更像Computer Vision的子类。

        尽管这三类研究中，随着CV领域的不断进步，以及越来越高级相机传感器出现（Depth Camera, Event Camera），很多算法都被互相用到，但是从Motivation来看，并没有太大变化。

(2)联系

        得益于这几个领域的共同进步，所以你能看到Graphics和Computer Vision现在出现越来越多的交集。如果根据观测量(图片), Computer Vision 可以越来越准确的估计出越来越多的变量，那么这些变量套到Graphics算法中，就可以模拟出一个跟真实环境一样的场景出来。

        与此同时，Graphics需要构建更真实的场景，也希望能够将变量更加接机与实际，或者通过算法估计出来，这就引入了Vision的动机。这也是近年来三维重建算法，同时大量发表在Graphics和Vision的会议的原因。随着CV从2D向3D发展，以后两者的交集会越来越大，除了learning以外的其他很多问题融合并到一个领域我也不会奇怪。

2.3 从最终目标角度看

Computer Vision 的终极目标是模仿人眼和大脑对看到的真实事物的理解，关键词是“真实”和“理解”，如人脸识别；
Computer Graphics 的终极目标是创造非真实的视觉感知，关键词是“非真实”和“创造”，如3D特效；
Image Processing 的终极目标是图像转换，像素级的处理，关键就是图像与图像的转换，涉及信号处理，如给图片加滤镜。

2.4 从学科分类来看

Computer Science/ Artificial Intelligence/ Computer Vision
Computer Science/ Computer Graphics and Visualization
Electrical Engineering/ Signal Processing/ Digital Signal Processing/ Digital Image Processing

 

参考

https://en.wikipedia.org/wiki/Computer_vision

https://en.wikipedia.org/wiki/Computer_graphics_(computer_science)

https://en.wikipedia.org/wiki/Digital_image_processing

https://www.zhihu.com/question/20672053

https://blog.csdn.net/hanlin_tan/article/details/50447895

https://www.vinjn.com/2015/11/17/cv-cg-dip-relatioship/