A Morphable Model For The Synthesis Of 3D Faces
Abstract
Two key problems
- New face images or new 3D face models can be registered automatically by computing dense one-to-one correspondence to an internal face model.
- The approach regulates the naturalness of modeled faces avoiding faces with an "unlikely" appearance.
A morphable face model
- transform the shape and texture into a vector space representation, the shape and texture guide manual modeling or automated matching algorithms(空间向量表示）
- model new faces and expressions by forming linear combinations of the prototypes（线性组合）
Results
- 3D faces reconstructions from single images
- Photo-realistic image manipulations applications
- Faces manipulations by complex parameters
Contents
Limitations
-
Finding corresponding feature locations in different faces
The correspondence problem turns into a mathematicaloptimization problem separating faces from faces
Procedure
- Deriving a 3D face model from a novel image
- Modifying shape and texture in a natural way.
Dtabase
- 200 heads(100 males and 100 females)
- Radii r(h,Φ) of surface points sampled at 512 equally-spaced angles Φ, and at 512 equally-spaced vertical steps h
- RGB values
Morphable 3D Face Model
We estimate the probability distribution for the coefficients a and b from example set of faces. The distribution can enable us to control the likelihood of a and b of the generated faces.
A Morphable Model For The Synthesis Of 3D Faces
===
Abstract
Two key problems
- New face images or new 3D face models can be registered automatically by computing dense one-to-one correspondence to an internal face model.
- The approach regulates the naturalness of modeled faces avoiding faces with an "unlikely" appearance.
A morphable face model
- transform the shape and texture into a vector space representation, the shape and texture guide manual modeling or automated matching algorithms(空间向量表示）
- model new faces and expressions by forming linear combinations of the prototypes（线性组合）
Results
- 3D faces reconstructions from single images
- Photo-realistic image manipulations applications
- Faces manipulations by complex parameters
PCA
因为ΔS是S减去均值，所以ΔS的维数最多是m-1，ΔT同理
Segmented morphable model
The idea is that dividing faces into independent subregions that are morphed independently, for example into eyes, nose, mouth and a surrounding region. This segmentation is equivalent to subdividing the vector space of faces into independent subspaces 如上图所示，把人脸分成了四部分：眼睛、鼻子、嘴巴以及周边，控制每个区域的值，会得到不一样的效果图。通过这几个部分的线性组合重构出一个完整的人脸。
Facial attributes
expressions model
Sneutral和Tneutral表示中性也就是面无表情的时候脸部的shape和texture，这个模型求出有表情和无表情的差异，然后再把这种差异加到new face上，就可以再new face上产生新的表情，也就是控制人脸的表情。
这个模型比较粗糙，2018-Deep video portraits中将该模型细化了
optic flow
光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。
当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜（即图像平面），好像一种光的“流”，故称之为光流（optical flow）。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。
研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。运动场，其实就是物体在三维真实世界中的运动；光流场，是运动场在二维图像平面上（人的眼睛或者摄像头）的投影。
那通俗的讲就是通过一个图片序列，把每张图像中每个像素的运动速度和运动方向找出来就是光流场。那怎么找呢？咱们直观理解肯定是：第t帧的时候A点的位置是(x1, y1)，那么我们在第t+1帧的时候再找到A点，假如它的位置是(x2,y2)，那么我们就可以确定A点的运动了：(ux, vy) = (x2, y2) - (x1,y1)。
optic flow 算法
基于梯度的方法、基于相位的方法、基于匹配的方法、基于能量的方法、神经动力学.算法参考这篇文章
《A Database and Evaluation Methodology for Optical Flow》
MunsellColor System(孟塞尔颜色系统)
南北轴=明度（value）：从全黑到全白
经度=色相（hue）：把圆周分成物种主色调及中间色调
距轴的距离=色度（chroma）：表示色调纯度，没有理论的上限。普通颜色的上限为10，反光、荧光等材料
具体颜色的标识形式：明度+色相+色度