秋招笔试题

   作者：王抒伟           

编辑：赵一帆           

01

深度学习和过往的神经网络训练方法有什么区别？列举几种深度学习的loss function，并说明意义

深度学习是一种方法，神经网络是个模型，深度学习方法呢可以有效解决层数多的神经网络不好学习的问题，为了让层数较多的多层神经网络可以训练，能够起作用并演化出来的一系列的 新的结构和新的方法；

结构：一般分为两大阵营，CNN,RNN，感觉这里欠妥，请指正。
方法：权重初始化方法（逐层初始化，XAVIER等），损失函数，防止过拟合方法（Dropout, BN等）。
这些方面主要都是为了解决传统的多层神经网络的一些不足：梯度消失，过拟合等。

• 分类问题常用的损失函数：

1. 1. 交叉熵损失函数，也称作softmax损失函数，可用于解决多分类问题，通过指数化将输出转换成概率的形式；

   2. 合页损失函数，一般情况下，交叉熵损失函数的效果优于合页损失函数；

   3. 坡道损失函数，对离群点或者噪声的抗干扰能力强，是一种鲁棒性的损失函数，对误差较大的区域会进行截断；

   4. 大间隔损失函数，保证能够正确分类的同时，还满足增大类间的差异，提升了特征的分辨能力，防止网络发生过拟合；

   5. 中心损失函数，保证能够正确分类的同时，还满足减少类内的差异，提升了特征的分辨能力；

• 回归问题常用的损失函数：

1. 1. L1损失函数，衡量的是预测值与真实值之间的偏差；

   2. L2损失函数，效果优于L1；

   3. tukey‘s biweight损失函数，是一种具有鲁棒性的损失函数；

• 其他任务的损失函数：

1. KL散度损失函数，衡量的是样本标记分布与真是标记分布的差异，可用于年龄估计等。

02

什么是卷积神经网络？请说明卷积的意义

分开看就明确了，“卷积” 和 “神经网络”.
卷积也就是说神经网络不再是对每个像素的输入信息做处理了,而是图片上每一小块像素区域进行处理, 这种做法加强了图片信息的连续性. 使得神经网络能看到图形, 而非一个点. 这种做法同时也加深了神经网络对图片的理解.

具体来说, 卷积神经网络有一个批量过滤器, 持续不断的在图片上滚动收集图片里的信息,每一次收集的时候都只是收集一小块像素区域, 然后把收集来的信息进行整理, 这时候整理出来的信息有了一些实际上的呈现, 比如这时的神经网络能看到一些边缘的图片信息, 然后在以同样的步骤, 用类似的批量过滤器扫过产生的这些边缘信息, 神经网络从这些边缘信息里面总结出更高层的信息结构,比如说总结的边缘能够画出眼睛,鼻子等等.

卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加，这就是卷积的意义：加权叠加，不同的卷积核提供了不同的加权方式，从而得到鲁棒的特征，进行参数共享，大大减少了参数量，避免过拟合；

03

什么是中文分词？列举出几种你所知的分词方法

中文分词就是将中文按语义分出词语来，与英文不同，中文词语之间没有空格，需要根据语义经验等知识来将一组汉字序列进行切分出一个个词语，中文分词主要分为三种：

1. 机械分词法：是一种基于词典的方法，是将文档中的字符串与词典中的词条一一匹配，如果在词典中找到了某个字符串，则匹配成功，可以切分，否则不予切分。该方法实现简单，使用性强，但对于词典的完备性要求很高。

2. 基于语法和规则的分词方法：是在分词的同时进行句法和语义分析，通过句法和语义信息来标注词性，以解决分词歧义的现象。但汉语语法笼统，复杂，所以该种方法的精度不尽人意，目前仍处于试验阶段。

3. 基于统计的分词法：根据字符串在语料中出现的统计词频来判断其是否构成一个词。词是字的组合，相邻的字同时出现的次数越多越有可能成为一个词。该种方法因精度高，效果稳定，成为目前最流行的一种方法，常见的分词模型有HMM, CRF, biLSTM+CRF等

04

现在深度学习在nlp领域有哪些应用？ 请具体说明

1. 机器翻译，or神经机器翻译（NMT）在翻译中提供了统计方式之外的另一种方式，同时也更加简便。

2. 知识问答，问答机器人，可以用深度学习模型，从语料中学习获得一些问题的答案。

3. 自然语言生成，能够根据一些关键信息及其在机器内部的表达形式，经过一个规划过程，来自动生成一段高质量的自然语言文本。

05

传统图像处理提取的sift特征是什么意思？

sift指的是scale invarient feature transform，即尺度不变特征变换。

sift特征是一种对缩放、旋转、光照变化等不敏感的局部图像特征，其提取过程是先生成图像的尺度空间，然后在尺度空间中检测极值点作为关键点，最后利用关键点邻域的梯度信息生成特征描述符。

06

参考链接

• https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/5-03-A-CNN/

• https://www.zhihu.com/question/22298352/answer/34267457

• https://www.nowcoder.com/questionTerminal/42fe838421a84e279a67a0a16b874d29?source=relative

• http://www.elecfans.com/d/540309.html

 

END

机器学习算法工程师

---

                            一个用心的公众号

长按，识别，加关注

进群，学习，得帮助

你的关注，我们的热度，

我们一定给你学习最大的帮助