常见的面试问题————NLP篇（持续更新）

1. Word2Vec 的原理，使用的技巧？ https://mp.weixin.qq.com/s/lerKdFXkhqQaaVl4BGgblA
2. Word2Vec 的多层 softmax 是怎么实现的，思路是怎样的，损失函数变化
3. 层次softmax为什么要以词频构建二叉树 https://www.zhihu.com/question/398884697
4.  fasttext 、word2vec、glove、elmo、bert、GPT、xlnet 的区别，fasttext相比于 word2vec 有什么优势，它是怎么做分类的
5.  textcnn 原理
6. Transformer的结构，multi-head Attention 的作用  Ps. pytorch手动实现一下multi-head
7. Transformer的位置编码和bert的位置编码的区别，为什么要加位置编码
8. Transformer的残差作用 ：减少梯度消失和梯度爆炸的问题，同时能解决退化问题。退化问题是指：当网络隐藏层变多时，网络的准确度达到饱和然后急剧退化，而且这个退化不是由于过拟合引起的。
9. Transformer 怎么解决长文本问题？
10. Transformer里使用的是LN还是BN    Ps. LN的原理，pytorch手动实现一下
11. Transformer 模型中 dropout 主要用在哪里
12. Word2Vec 怎么将得到的词向量变成句子向量，以及怎么衡量得到词向量的好坏https://blog.csdn.net/Matrix_cc/article/details/105138478
13. HMM 和 CRF 的原理和区别，其中维特比算法的复杂度
14. bert 里 add&norm 是什么以及作用
15. local attention 和 global attention 的区别：https://easyai.tech/ai-definition/attention/
16. graph embedding 的原理
17. TF-IDF 的原理
18. n-gram原理及有哪些平滑处理
19. 解决OOV的方法: NLP 研究主流目前如何处理 out of vocabulary words？
20. 词向量的降维
21. nlp 分词技术有哪些，如何分的
22. nlp有哪些数据增强的方法
23. 文本预处理的方法有哪些