海晨威文章内容总结

写文章有段时间了,但内容比较杂,想到啥写啥。

这次文章就做一个归类总结,方便小伙伴系统的看这些内容。

自然语言处理

BERT/Transformer细节: 在基本了解BERT和Transformer的基础上,以下的文章能够帮助你更深入地理解它们的细节

超细节的BERT/Transformer知识点

史上最细节的自然语言处理NLP/Transformer/BERT/Attention面试问题与答案

为什么 Bert 的三个 Embedding 可以进行相加?

transformer中multi-head attention中每个head为什么要进行降维?

bert最后输出的字表示是使用固定的分类层进行分类的,为什么能区分一字多义?

NLP中的常见操作:包括 Attention,Mask,变长序列的padding,Embedding等,都是NLP中的常见操作,能够帮助你更好的理解和训练你的模型

目前主流的attention方法都有哪些?

NLP 中的Mask全解

XLNet 中神奇的 Attention Mask

NLP中各框架对变长序列的处理全解

Transformer不同batch的长度可以不一样吗?还有同一batch内为什么需要长度一样?

Embedding理解与代码实现

NLP中的其他:一些不好归类到上面的其他NLP文章,包括对比学习,对话摘要,NLP知乎专栏建议等

超细节的对比学习和SimCSE知识点

如何评价最近火热的对比学习,会引领预训练模型新的范式嘛?

对话文本摘要概述 — 你的对话,可以凝练一下

自然语言处理 NLP 中值得关注的知乎专栏

语言模型困惑度的两种形式及python实现

深度学习

深度学习中很多Norm 相关的细节知识点,可以在下面的文章中找到;还有去理解深度学习中的轴,和LSTM的细致结构

超细节的 BatchNorm/BN/LayerNorm/LN 知识点

BN/Batch Norm中的滑动平均/移动平均/Moving Average

BN和Dropout在训练和测试时的差别

深度学习中的轴/axis/dim全解

一幅图真正理解LSTM的物理结构

强化学习

下面的文章主要包括强化学习中的一些概念性问题和入门的建议,不包括具体的强化学习算法

强化学习怎么入门好?

强化学习是什么?

强化学习适合解决什么样的问题

机器学习、深度学习和强化学习的关系和区别是什么?

深度强化学习与深度学习的的区别是啥?

强化学习必须知道的基础知识有哪些?

杂文

一些整理或者有感而发的杂文,不妨可以看看

如何评价清华大学刘知远老师?

你为什么玩知乎,它能带给你什么?

如何做好一个知乎创作者—心血力结

【闲言碎语】用诗,劝你健身

你可能感兴趣的:(自然语言处理,自然语言处理,transformer,深度学习)