AI笔试回顾
笔试问题总结
- AI类
- 神经网络
- 1.过大的学习速率会导致什么问题?
- 2.在选择神经网络的深度时，下面哪些参数需要考虑?
- 3.当在卷积神经网络中加入池化层（pooing layer）时，变换的不变性会被保留，这个说法是否正确?
- ４.以下机器学习中，在数据预处理时，不需要考虑归一化处理的是?
- 5. 下列哪个神经网络结构会发生权重共享?
- 6. 以下哪些方法不可以直接来对图像分类?
- 7. 当构建一个神经网络进行图片的语义分割时，通常采用下面哪种顺序?
- 8. 增加卷积核的大小对于改进卷积神经网络的效果是必要的吗?
- 9. 在一个神经网络中，下面哪种方法可以用来处理过拟合?
- 10. 如果一个SVM模型出现过拟合，那么下列哪种方法能解决这一问题？
- 11. 计算图片相似度的方法有哪些？
AI类
编写于2019-10-29。
神经网络
1.过大的学习速率会导致什么问题?
A.神经网络会收敛
B.神经网络不会收敛
C.不好说
D.都不对
学习速率：运用梯度下降法进行优化时，权重的更新规则中，在梯度前会乘以一个系数，这个系数就叫做学习速率。
解析：学习速率太小，会使收敛过程变慢，或者无法达到最优收敛。如果学习速率太大，则会导致代价函数震荡，使神经网络无法收敛。
2.在选择神经网络的深度时，下面哪些参数需要考虑?
1.神经网络的类型（例如：MLP,CNN）
2.输入数据
3.计算能力（硬件和软件能力决定）
4.学习速率
5.映射的输出函数
A.1,2,3,4 B.2,3,4,5
C.都需要考虑 D.1,3,4,5
解析：所有上述因素对于选择神经网络模型的深度都是重要的。特征抽取所需分层越多, 输入数据维度越高, 映射的输出函数非线性越复杂, 所需深度就越深. 另外为了达到最佳效果, 增加深度所带来的参数量增加, 也需要考虑硬件计算能力和学习速率以设计合理的训练时间。
3.当在卷积神经网络中加入池化层（pooing layer）时，变换的不变性会被保留，这个说法是否正确?
A.无法判断
B.是
C.否
D.视具体情况而定
知识补充：pooling层（池化层）的输入一般来源于上一个卷积层，主要有以下几个作用：
1.保留主要特征，同时减少下一层的参数和计算量，防止过拟合；
2.保持某种不变性，包括translation(平移)，rotation（旋转），scale(尺度)，常用的有mean-pooing和max-pooing。
解析：池化算法比如取最大值/取平均值等, 都是输入数据旋转后结果不变, 所以多层叠加后也有这种不变性。
４.以下机器学习中，在数据预处理时，不需要考虑归一化处理的是?
A.logistic回归
B.SVM
C.树形模型
D.神经网络
解析：1.首先，使用梯度下降法求解最优解的模型，归一化非常重要：knn，logistc回归，gbdt，xgboost，adaboost
2.有一些模型是基于距离的，所以量纲对模型影响较大，就需要归一化数据，处理特征之间的权重问题，这样可以提高计算精度。比如，knn，svm，kmeans，k近邻，主成分分析；
3.神经网络对数据分布本无要求，但归一化可以加快训练数据；
4.那么不需要归一化处理的模型，决策树，随机森林。他们因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率
5. 下列哪个神经网络结构会发生权重共享?
A.卷积神经网络
B.循环神经网络
C.全连接神经网络
D.选项A和B
解析：选D，只有卷积和循环神经网络会发生权值共享。注：感知机和全连接神经网络也不会发生权值共享。
6. 以下哪些方法不可以直接来对图像分类?
A.Kmean
B.决策树
C.支持向量机
D.KNN
解析：
7. 当构建一个神经网络进行图片的语义分割时，通常采用下面哪种顺序?
A.先用卷积神经网络处理输入，再用反卷积神经网络得到输出
B.先用反卷积神经网络输入，再用卷积神经网络得到输出
C.不能确定
D.视具体情况而定
解析：选A，个人理解是先用卷积神经网络处理输入，再用反卷积神经网络得到输出
8. 增加卷积核的大小对于改进卷积神经网络的效果是必要的吗?
A.是
B.否
C.无法判断
D.视具体情况而定
解析: 选B，不是必要的。
历史角度：
· 12年AlexNet 中到了一些非常大的卷积核，比如11×11、5×5卷积核，最初认为是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越好。
· 但是大的卷积核会导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。
· 于是在VGG（最早使用）、Inception网络中，利用2个3×3卷积核的组合比1个5×5卷积核的效果更佳，同时参数量（3×3×2+1 VS 5×5×1+1）被降低，因此后来3×3卷积核被广泛应用在各种模型中。
解释：
3×3 是最小的能够捕获像素八邻域信息的尺寸。
两个3×3 的堆叠卷积层的有限感受野是5×5 ；三个3×3 的堆叠卷积层的感受野是7×7，故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层，并且感受野大小不变。
多个3×3 的卷积层比一个大尺寸filter卷积层有更多的非线性(更多层的非线性函数)，使得判决函数更加具有判决性（中间层有非线性的分解，并且起到隐式正则化的作用）
多个3×3 的卷积层比一个大尺寸的filter有更少的参数,假设卷积层的输入和输出的特征图大小相同为 C，那么三个 3×3 的卷积层参数个数 3x（3x3xCxC）=27C2；一个7×7的卷积层参数为49C2；
9. 在一个神经网络中，下面哪种方法可以用来处理过拟合?
A.Dropout
B.分批归一化（Batch-Normaliation）
C.正则化（regularization）
D.都可以
解析: 选D
10. 如果一个SVM模型出现过拟合，那么下列哪种方法能解决这一问题？
A.增大惩罚参数C的值
B.减小惩罚参数C的值
C.减小核系数（gamma参数）
解析: 选B ，如果SVM模型欠拟合，我们可以调高参数C的值，使模型复杂度上升。如果是过拟合，则调低参数C的值。
11. 计算图片相似度的方法有哪些？
1.直方图距离
2.平均哈希算法
3.感知哈希算法
4.差异哈希算法
A.1,2, B.2,3
C.1,3 D.全都是
解析: 选D，显而易见，直方图距离可以用来两张图片的相似度比较，平均哈希算、感知哈希算法、差异哈希算法也都用来做相似图片的搜索工作。