《吴恩达深度学习》04卷积神经网络（第4周特殊应用：人脸识别和神经风格转换）

04. 卷积神经网络

第4周 特殊应用：人脸识别和神经风格转换

4.1 什么是人脸识别？

1. 人脸识别
2. 人脸验证vs.人脸识别
   （1）验证
   a. 输入图像，姓名或ID
   b. 输出图像是否是所生成的那个人
   （2）识别
   a. 数据库中有$K$个人
   b. 输出图像
   c. 输出ID（若为$K$个人之一）或未识别

4.2 One-Shot学习

1. one-shot学习
   通过一个样本进行学习，再次识别该人。
2. 学习一个相似度函数
   （1）d(img1,img2)=两张图片间的差异程度。
   （2）若$d(img1,img2)\le \tau$，则是同一人，否则不是。（验证环节）

4.3 Siamese网络

1. Siameses网络
   （1）网络架构
   
   （2）使用相同网络提取两张图片的特征。
   （3）定义$d(x^{(1)},x^{(2)})={\Vert f(x^{(1)})-f(x^{(2)})\Vert }_2^2$
2. 学习的目标
   （1）NN的参数定义了$f(x^{(i)})$的编码。
   （2）学习参数，使得满足如下条件：
   a. 若$x^{(i)},x^{(j)}$是同一人，则${\Vert f(x^{(1)})-f(x^{(2)})\Vert }_2^2$尽量小。
   b. 若$x^{(i)},x^{(j)}$不是同一人，则${\Vert f(x^{(1)})-f(x^{(2)})\Vert }_2^2$尽量大。

4.4 Triplet损失

1. 学习目标
   通过编码，使得anchor图片和positive图片的距离尽可能近，anchor图片和negative图片的距离尽可能远。可总结为如下不等式：
   $$d(A,P)={\Vert f(A)-f(P)\Vert }^2\le d(A,N)={\Vert f(A)-f(N)\Vert }^2$$
   即
   $${\Vert f(A)-f(P)\Vert }^2-{\Vert f(A)-f(N)\Vert }^2\le 0$$
   为了防止$f(\cdot )$输出恒为0，故引入间隔$\alpha >0$：
   $${\Vert f(A)-f(P)\Vert }^2-{\Vert f(A)-f(N)\Vert }^2+\alpha \le 0$$
2. 损失函数
   （1）给定3张图片A,P,N
   （2）定义损失函数为
   $$L(A,P,N)=\max \left({\Vert f(A)-f(P)\Vert }^2-{\Vert f(A)-f(N)\Vert }^2+\alpha ,0\right)$$
   （3）整个数据集上的损失函数
   $$J=\sum _{i=1}^{M}L(A^{(i)},P^{(i)},N^{(i)})$$
   （4）说明：训练集中，每个人的图片需要多于1张，否则因无法组成$(A,P)$数据对而无法训练。
3. 选择三元组A,P,N
   （1）在训练中，若A,P,N随机选择，则$d(A,P)+\alpha \le d(A,N)$很容易满足。
   （2）故应该选择那些难以训练的三元组。
   （3）参考论文：Schroff et al. 2015. FaceNet: A unified embedding for face recognition and clustering.
4. 使用三元组损失训练集

4.5 面部验证与二分类

1. 学习相似度函数
   
   输入为一对图片，当两张图片为同一个人时，输出为1；否则为0。
2. 面部识别监督学习

4.6 什么是神经风格转换？

1. 神经风格转换
   举例：
   $C$表示内容图片，$S$表示风格图片，$G$表示生成图片。

4.7 什么是深度卷积网络？

1. 可视化深度网络在学习什么
   （1）网络结构示意图
   
   （2）选择第一层的一个隐藏单元，寻找到9个使该单元激活函数最大化的图片。对其他单元重复上述动作。通过如下的可视化，可以看出，该层总结的是一些浅层信息，如边缘、颜色等。
   
   （3）靠后的隐藏层会看到更大的图片块。
2. 可视化深层
   

4.8 代价函数

1. 神经风格转换代价函数
   $J(G)=\alpha J_{Content}(C,G)+\beta J_{Style}(S,G)$
   注：原作者使用两个超参数，或许可以使用一个超参数即可。
2. 寻找生成图像$G$
   （1）随机初始化$G$
   $G:100\times 100\times 3$
   （2）使用梯度下降最小化$J(G)$
   $G:=G-\frac{\partial }{\partial G}J(G)$

4.9 内容代价函数

1. 内容代价函数
   （1）假设使用$l$隐藏层计算内容代价。（通常$l$选择在中间层）
   （2）使用预训练的ConvNet。（如VGG网络）
   （3）令$a^{[l](C)}$和$a^{[l](G)}$表示$l$层上$C$和$G$的激活函数。
   （4）则若$a^{[l](C)}$和$a^{[l](G)}$相似，则两张图片有相似的内容。故可公式化为
   $$J_{Content}(C,G)=\frac{1}{2}{\Vert a^{[l](C)}-a^{[l](G)}\Vert }^2$$

4.10 风格代价函数

1. 图像风格的意义
   （1）假设网络结构如下所示
   
   取其中某一层$l$的激活项来度量风格，定义风格为不同通道间激活项的相关性。
2. 图像风格的直觉
3. 风格矩阵
   （1）令$a_{i,j,k}^{[l]}$为$(i,j,k)$处的激活项，则风格矩阵$G^{[l](s)}$的大小为$n_c^{[l]}\times n_c^{[l]}$；
   （2）$G_{k{k}^{\prime }}^{[l](s)}={\sum }_i^{n_H^{[l]}}{\sum }_j^{n_W^{[l]}}{a}_{ijk}^{[l](s)}{a}_{ij{k}^{\prime }}^{[l](s)}$
   （3）对生成图像进行同样的计算$G_{k{k}^{\prime }}^{[l](G)}={\sum }_i^{n_H^{[l]}}{\sum }_j^{n_W^{[l]}}{a}_{ijk}^{[l](G)}{a}_{ij{k}^{\prime }}^{[l](G)}$
   （4）风格矩阵有时也被称为Gram矩阵
   （5）事实上，风格矩阵是一种不标准的互协方差，因为没有减去均值。
4. 风格代价函数
   （1）定义风格代价函数为：$J_{Style}^{[l]}(S,G)={\Vert G^{[l](S)}-G^{[l](S)}\Vert }_F^2$。
   （2）全局的风格代价函数为：$J_{Style}(S,G)={\sum }_l{\lambda }^{[l]}{J}_{Style}^{[l]}(S,G)$
   （3）整合内容和风格代价函数为$J(G)=\alpha J_{Content}(C,G)+\beta J_{Style}(S,G)$

4.11 一维到三维推广

1. 二维和一维的卷积
   
2. 3D数据举例
   CT扫描图
3. 3D卷积