毕业设计：微表情识别学习笔记（一）
Robust Principal Component Analysis 鲁棒主成分分析模型介绍
0.毕业设计
我毕业设计做的方向是微表情算法的研究，并且有幸听了王老师组织的《云上微表情》报告会并接触到了王老师（听的第一期是黄老师的前期工作介绍），前期看的大部分论文都是与图像特征提取 L B P − T O P LBP-TOP LBP−TOP相关的内容，听了报告会之后看到了黄老师和王老师的 R P C A RPCA RPCA的相关工作比较感兴趣，就开始了相关的漫漫长征路······欢迎各位同行私信我相互交流（但本人菜鸡一枚）。
1.RPCA模型介绍
上面说了我是看了黄老师和王老师的论文，才知道了这个流程，论文名称分别为《Discriminative Spatiotemporal Local Binary Pattern with Revisited Integral Projection for Spontaneous Facial Micro-Expression Recognition》、《Micro-expression Recognition using Robust Principal Component Analysis and Local Spatiotemporal Directional Features》的两篇文章。
R P C A RPCA RPCA被广泛应用于人脸识别、视频帧插值、脑成像和脑电图信号处理等， R P C A RPCA RPCA利用数据特征为低秩子空间这一事实，它将观测数据矩阵 D D D分解为两部分:
\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad D = A + E D = A + E D=A+E
其中 A A A处于低秩子空间， E E E为误差项。在 R P C A RPCA RPCA的许多应用中， A A A是应有的数据，而 E E E通常作为噪声处理并去除。而在微表情识别中中，我们认为E包含了微表情中应有的细微运动信息，而 A A A中包含了每个人的身份信息，这与微表情信息的提取是无关的。
话不多说，我们开始介绍模型吧，在模型介绍中我就不掺杂微表情识别相关的背景了。
在上述 D = A + E D=A+E D=A+E成立的条件下，我们想要寻找每一列元素尽量相同的矩阵 A A A和能够产生尽量稀疏元素的矩阵 E E E，这就是想要建立 R P C A RPCA RPCA模型的初衷和背景。用数学模型表示出来就是如下的公式：
\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad m i n A , E {min}_{A,E} minA,E r a n k ( A ) + ∣ ∣ E ∣ ∣ 0 rank(A)+||E||_0 rank(A)+∣∣E∣∣0 s . t . D = A + E \ \ \ s.t.\ D=A+E s.t. D=A+E
其中rank（·）表示矩阵的秩， ∣ ∣ ⋅ ∣ ∣ 0 || · ||_0 ∣∣⋅∣∣0表示矩阵的0范数，它表示的是矩阵E非零项数的个数。
由于上述优化问题是非凸的， R P C A RPCA RPCA将其转化为凸优化问题，便于求解。用数学模型表示出来就是如下的公式：
\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad m i n A , E {min}_{A,E} minA,E ∣ ∣ A ∣ ∣ ∗ + λ ∣ ∣ E ∣ ∣ 1 ||A||_*+\lambda ||E||_1 ∣∣A∣∣∗+λ∣∣E∣∣1 s . t . D = A + E \ \ \ s.t.\ D=A+E s.t. D=A+E
其中， ∣ ∣ ⋅ ∣ ∣ ∗ ||·||_* ∣∣⋅∣∣∗代表矩阵的核范数，它等于矩阵所有奇异值的和，另外， ∣ ∣ ⋅ ∣ ∣ 1 ||· ||_1 ∣∣⋅∣∣1表示矩阵的1范数，它等于矩阵所有元素绝对值之和， λ \lambda λ表示噪声所占比重，是一个正的加权参数。
上述式子包括矩阵的 l 1 l1 l1-范数和核范数，求解过程中，需要使用迭代，然而，迭代阈值方案收敛非常缓慢，它不能用于处理大规模的微表情视频。Lin等采用增广拉格朗日乘子( A L M ALM ALM)的方法求解上述式子，效率提升了五倍以上。引入 A L M ALM ALM来解决以下约束优化问题:
为了求解在满足 h ( X ) = 0 h(X)=0 h(X)=0的条件下的优化问题 m i n f ( X ) min\ f(X) min f(X)（函数 f f f是一个从 n n n维到1维的映射，函数 h h h是一个从 n n n维到 m m m维的映射）,并且将有约束 h ( X ) = 0 h(X)=0 h(X)=0问题转化为无约束问题（这种转化需要一定的代价的，所以构造的拉格朗日函数增加了惩罚项），构造的拉格朗日函数如下：
\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad L ( X , Y , μ ) = f ( X ) + L(X,Y,\mu)=f(X)+ L(X,Y,μ)=f(X)+ ⟨ Y , h ( X ) ⟩ + μ 2 ∣ ∣ h ( X ) ∣ ∣ F 2 \langle Y,h(X) \rangle+\frac{\mu}{2}||h(X)||_F^2 ⟨Y,h(X)⟩+2μ∣∣h(X)∣∣F2
其中 Y Y Y是拉格朗日乘子， ∣ ∣ ⋅ ∣ ∣ F ||·||_F ∣∣⋅∣∣F代表矩阵的 F F F范数，它等于 ∑ i ∑ j X i j 2 \sqrt{\sum_i\sum_j X_{ij}^2} ∑i∑jXij2，矩阵各元素的平方和的平方根。
为了求解我们上述的 l 1 l1 l1-范数和核范数结合的优化问题，我们是由上述拉格朗日函数求解，所以 X X X即为 ( A , E ) (A,E) (A,E)， f ( X ) f(X) f(X)即为 ∣ ∣ A ∣ ∣ ∗ + λ ∣ ∣ E ∣ ∣ 1 ||A||_*+\lambda ||E||_1 ∣∣A∣∣∗+λ∣∣E∣∣1， h ( X ) h(X) h(X)即为 D − E − A D-E-A D−E−A，拉格朗日函数即为
\quad \quad \quad \quad \quad \quad \quad \quad \quad L ( A , E , Y , μ ) = ∣ ∣ A ∣ ∣ ∗ + λ ∣ ∣ E ∣ ∣ 1 L(A,E,Y,\mu)= ||A||_*+\lambda ||E||_1 L(A,E,Y,μ)=∣∣A∣∣∗+λ∣∣E∣∣1+ ⟨ Y , D − E − A ⟩ + μ 2 ∣ ∣ D − E − A ∣ ∣ F 2 \langle Y,D-E-A \rangle+\frac{\mu}{2}||D-E-A||_F^2 ⟨Y,D−E−A⟩+2μ∣∣D−E−A∣∣F2
Lin等人在[1]中提出了两种算法:精确 A L M ALM ALM和不精确 A L M ALM ALM。对精确 A L M ALM ALM的轻微改进会导致不精确 A L M ALM ALM，它收敛的速度实际上与精确 A L M ALM ALM一样快，但是所需要的奇异值分解的数量要少很多。最后的迭代过程，是在一定误差阈值和最大迭代次数的控制下结束迭代，迭代过程如下：
下面给出这张图，说明 R P C A RPCA RPCA在微表情识别上的厉害之处，也是因为这张图激起了我想要做 R P C A RPCA RPCA的兴趣，不说了去看程序了，如果对我的博文排版有什么建议，欢迎私信我或者评论，如有错误也请批评指正，也非常希望读者可以关注我，看菜鸡是如何逆转翻盘的！
参考文献：
Lin, Z., Liu, R., Su, Z.: Linearized alternating direction method with adaptive penalty for low-rank representation. In: Neural Information Processing Systems (NIPS) (2011)
Wright, J., Ganesh, A., Rao, S., Peng, Y., Ma, Y.: Robust principal component analysis: Exact recovery of corrupted low-rank matrices via convex optimization. In: Advances in neural information processing systems. pp. 2080–2088 (2009)