常见的pooling策略

参考资料:
https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/86215037
https://blog.csdn.net/wangyangzhizhou/article/details/76034219
https://www.cnblogs.com/ying-chease/p/8658351.html
pooling策略的主要目的:降维,保留信息的显著特征

主要的几种pooling策略:

1.Max Pooling

最大池化策略:通常选取卷积之后得到的feature map区域的最大值作为特征,常用于文本分类任务中,观察到的一般是句子的强特征(抛弃句子的弱特征),该操作可以保证特征的位置与旋转不变性,但是不会保留句子强特征出现的位置

2.Average-pooling

平均值池化策略:通常用于句子的主题模型,考虑到一个句子可能不止只有一个标签,需要尽量多的句子上下文信息,如果使用的最大池化信息过少的话,使用平均值可以广泛的反映feature map的特征

3.K-max pooling

k-max池化策略:在一个feature map上返回k组最大值,选择top k的feature结果,可以表达某类特征的强度

4.Chunk-Max Pooling

分块最大池化策略:类似于dynamic pooling,将feature map分为好几块,具体怎么分块要看关注句子的哪几个部分。
Chunk-max pooling与K-max pooling的区别在于:
(1)k-max pooling事先不对feature map进行分割,根据值选最大的几块并且保留这些值的顺序(全局top-k特征);
(2)Chunk-max pooling 先选好分割成几块,然后对每块选该块中最大的值作为该块的结果,保留了多个局部Max特征值的相对顺序信息,如果所需要关键特征的位置信息很重要,那么类似Chunk-Max Pooling这种能够粗粒度保留位置信息的机制应该能够对性能有一定程度的提升作用。

你可能感兴趣的:(自然语言处理,深度学习)