深度学习 - 一问一答

2019-06-23

深度学习（计算机视觉）面试中问题（一）
“有目的性引导面试官问你准备的问题”...666
深度学习（计算机视觉）面试中问题（二）

如何解决数据不平衡问题

1、数据层面：重采样
(1) 小数据上采样：翻转，旋转，平移，尺度拉伸，对比度，亮度，色彩变化，随机噪声，等。
(2) 大数据下采样
2、训练层面：
把大数据划分，分别与小数据训练数个分类器，再结合起来。

Sigmoid激活函数为什么会出现梯度消失

深度学习中的激活函数Sigmoid和ReLu激活函数和梯度消失问题
根据链式法则，back propagation过程中，有很多次求导相乘。而每一层都会经过激活函数，sigmoid中，x很大时导数很小，反向传播很快就没了，造成梯度消失。而ReLU在x>0时导数始终是1。

如何解决梯度爆炸与消失

1、使用ReLU等激活函数
2、Batch Normalization

为什么要使用许多小卷积核(如3x3)而不是几个大卷积核

来自VGG：3个3x3从感受野来看可替代1个7x7。而参数量大概是一半；多了2次非线性激活的机会。

1*1卷积作用

GoogleNet的inception结构将其发扬光大。
看了一些没理解，看这个理解一点：【随笔记录】1*1卷积核的作用
卷积神经网络中用1*1 卷积有什么作用或者好处呢？
因为不涉及周边的像素点，所以主要用来调节通道数。
1、对不同通道的该点进行非线性操作，实现灵活升维、降维
2、降维时达到减少参数的效果
3、实现跨通道的信息交互和整合
4、feature map大小不变即不损失分辨率的情况下，增加非线性特性

池化的作用

降维？

深度学习中常用的损失函数

言简意赅，搬运：几种常见的损失函数
损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。
1、0-1损失函数（0-1 loss function）：
当预测错误时，损失函数为1；当预测正确时，损失函数值为0。不考虑预测值和真实值的误差程度。

0-1损失

2、平方损失函数（quadratic loss function）：
预测值与实际值差的平方。

平方损失

3、绝对值损失函数（absolute loss function）：
差距不会被平方放大。

绝对值损失

4、对数损失函数（logarithmic loss function）：
该损失函数用到了极大似然估计的思想。

对数损失

深度学习中常用的代价函数

参考链接同上。
代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。

1、均方误差(MSE)

均方误差

2、平均绝对值误差（MAE）（也称L1损失）

平均绝对值误差

3、交叉熵代价函数

什么是数据正则化/归一化(normalization)？为什么我们需要它？

见具体细节篇。为了解决过拟合的问题。

评价指标有哪些

1、机器学习中评价指标： Accuracy（准确率）、 Precision（查准率或者精准率）、Recall（查全率或者召回率）。
2、目标检测的指标：识别精度（mAP（mean average precision）），识别速度，定位精度（IoU）。