字节跳动/头条NLP算法面经整理

大家好，这里是面经酱～

今天来帮大家梳理网上公开面经中提到的NLP算法岗相关面试题，欢迎在 面经酱(www.mjj666.cn) 搜索最新面经，有其他公司、岗位的面经梳理需求请留言哦～

编程题

1. 【高频】Topk
2. 二分查找
3. 有序数组的查找、重排
4. leetcode 139、324、42、560、11、124、62、94、8、297、33
5. 判断数组是否满足后序遍历
6. 在链表中发现环
7. 蓄水池抽样
8. 最大连续子序列和
9. 最大子数组乘积
10. 编辑距离
11. 大数据归并排序

项目深度

1. 模型的Loss及编码器纬度
2. 用beam-search时如何保证结果多样性

基础知识

1. 【高频】梯度消失、爆炸的原因和解决方案，以及在RNN、LSTM中的解决情况
2. 【高频】word2vec手推公式、不同的训练和加速方法，如何实现
3. 【高频】Transformer和BERT的细节、attention机制、位置编码、优缺点
4. 【高频】Dropout
5. 【高频】如何解决过拟合
6. 【高频】手推SVM、和LR的区别
7. 【高频】BERT衍生模型（roberta、electra、xlnet）的改进点
8. SGD与Adam的区别
9. BERT与BiLSTM、ELMo的区别
10. LSTM与RNN的区别
11. XGBoost、GBDT、LightGBM的区别
12. LR和SVM的区别
13. HMM与CRF的区别
14. CNN与GCN的区别
15. BatchNorm
16. L1、L2正则化
17. 已知x、y、z的关系以及其中两个的分布，求另一个的方差
18. Softmax、CrossEntropy梯度求导
19. Tanh与Relu等激活函数的适用场景
20. 树模型如何处理离散特征、什么情况下需要对特征离散化
21. 如何缓解少样本
22. 如何解决正负样本不均衡
23. 如何加速模型收敛
24. 最小二乘推导，和极大似然的关系
25. 如何处理OOV
26. seq2seq的语序和长度问题
27. cnn为什么有效，1x1卷积的作用
28. 为什么随机初始化，如果都是0/1会怎样
29. 分词常用算法
30. 异常点检测
31. 文本匹配常用结构、算法
32. 权重衰减等价于哪个正则项

开放题

1. 根据建立项目对相似任务进行扩展
2. 商品/新闻的分级分类
3. 用LR模型预测时如何处理输入数据
4. 如何训练无监督的句子、视频表示
5. Train/test的构造
6. 如何用seq2seq做文本匹配

其他Tips

1. 加分项：用C++写编程题

参考资料

1. 【面经】NLP算法-字节跳动
2. NLP面试复盘 | 阿里/腾讯/头条/paypal/快手
3. 【面经】字节AI Lab-NLP算法热乎面经
4. NLP算法岗面经 | 微软/腾讯/字节跳动/快手
5. 暑期实习及提前批NLP岗面经记录(头条, oppo, 作业帮…)
6. 字节自然语言处理算法校招面经整理(二)
7. 字节自然语言处理算法校招面经整理(一)
8. 【Github 5K星】BAT头条滴滴小米等笔试面经+深度学习/算法/NLP资源汇总！
9. 字节一面 校招 算法NLP方向
10. 字节跳动 电商 算法工程师NLP 一面挂经
11. 字节电商NLP一面凉经
12. 腾讯，字节跳动NLP实习面经
13. 字节跳动NLP算法实习面经