算法面试之CNN以及其在NLP的应用

特点：
 稀疏交互：学习局部特征，再将局部特征组合起来形成更复杂和抽象的特征。
 参数共享：平移等变形，一只猫出现在哪里都能被识别出来。
池化pooling：
 最大池化：能够抑制由于邻域大小受限造成估计值方差增大的现象，特点是对背景的保留效果更好
 平均池化：能够抑制网络参数误差造成估计均值偏移的现象，特点是更好地提取纹理信息
  作用：降低参数量，保持对平移、伸缩、旋转操作的不变性。

对于文本：

 局部特征就是由若干单词组成的滑动窗口，类似于N-gram
 优势：自动对N-gram特征进行组合和筛选，获得不同抽象层次的语义信息。

CNN改进
越深的卷积核将会有更大的感受野，从而捕获更远距离的特征
膨胀卷积：卷积窗口不再覆盖连续区域，而是跳着覆盖，这样，同样尺寸的卷积核我们就能提取到更远距离的特征

为了防止文本中的位置信息丢失，NLP领域里的CNN的发展趋势是抛弃Pooling层，靠全卷积层来叠加网络深度，并且在输入部分加入位置编码，人工将单词的位置特征加入到对应的词向量中

下一篇：算法面试之RNN激活函数、权重共享
注：本专题大部分内容来自于总结，若有侵权请联系删除。