AI面试必备基础知识

 

• 损失函数

1. 0-1损失函数(zero-one loss)

2. 绝对值损失函数

3. log对数损失函数

4. 平方损失函数

5. 指数损失函数（exponential loss）

6. Hinge 损失函数

8. 交叉熵损失函数 (Cross-entropy loss function)

 

• 1*1卷积

1x1的卷积核可以进行降维或者升维，也就是通过控制卷积核（通道数）实现，这个可以帮助减少模型参数，也可以对不同特征进行尺寸的归一化；同时也可以用于不同channel上特征的融合。一个trick就是在降维的时候考虑结合传统的降维方式，如PCA的特征向量实现，这样效果也可以得到保证。

 

• 过拟合和欠拟合

 

• 数据增强的方法：

数据增强也叫数据扩增，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。主要方法有：随机的翻转，旋转，裁剪，变形，缩放等各类操作，随机添加噪声、模糊、颜色变换、擦除、填充等等

 

• 正则化：l1 l2的作用和区别

 

• Dropout在测试阶段如何处理

因为我们训练的时候会随机的丢弃一些神经元，但是预测的时候就没办法随机丢弃了。如果丢弃一些神经元，这会带来结果不稳定的问题，也就是给定一个测试数据，有时候输出a有时候输出b，结果不稳定，这是实际系统不能接受的，用户可能认为模型预测不准。那么一种”补偿“的方案就是每个神经元的权重都乘以一个p，这样在“总体上”使得测试数据和训练数据是大致一样的。比如一个神经元的输出是x，那么在训练的时候它有p的概率参与训练，(1-p)的概率丢弃，那么它输出的期望是px+(1-p)0=px。因此测试的时候把这个神经元的权重乘以p可以得到同样的期望。

 

• 为什么会出现梯度消失和梯度爆炸？

初始化的网络权值通常都小于1，因此，当层数增多时，小于0的值不断相乘，最后就导致梯度消失的情况出现。同理，梯度爆炸的问题也就很明显了，就是当权值过大时，导致 ，最后大于1的值不断相乘，就会产生梯度爆炸。

解决办法

1 换用Relu、LeakyRelu、Elu等激活函数

2 BatchNormalization

3 ResNet残差结构

4 LSTM结构

 

• 机器学习性能评估指标

1、准确率（Accuracy）

2、精确率、精度（Precision）

3、召回率（recall）

4、F-Score

 

• softmax

将一些输入映射为0-1之间的实数，并且归一化保证和为1