再出发-机器学习

机器学习：

知识点链接：

面试必备 | 机器学习、深度学习面试知识点汇总
【综述专栏】自然语言处理面试题
超细节的BERT/Transformer知识点
21个Transformer面试题的简单回答
transformer的multi-attention机制
一文看懂 Attention（本质原理+3大优点+5大类型）
史上最细节的自然语言处理NLP/Transformer/BERT/Attention面试问题与答案
NLP算法面试必备！PTMs：NLP预训练模型的全面总结
Attention Is All You Need简记(多头注意力、自注意力、层归一化、位置嵌入)
This post is all you need（层层剥开Transformer附全文高清PDF）
【机器学习】特征工程的这些基本功你都会了吗
王茂霖：数据挖掘提分三板斧！（附PPT下载）
决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结
NLP样本不均衡之常用损失函数对比（附代码）
Transformer结构及其应用详解--GPT、BERT、MT-DNN、GPT-2

算法技术：
想成为NLP算法工程师，你必须要看一下这10篇论文！
2020深度文本匹配最新进展：精度、速度我都要！
业务理解：
算法工程师如何应对业务方和老板的灵魂拷问？

基础点：

什么是偏差和方差？

偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据
方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散
Bias：误差，对象是单个模型，期望输出与真实标记的差别（可以解释为描述了模型对本训练集的拟合程度）
Variance：方差，对象是多个模型（这里更好的解释是换同样规模的训练集，模型的拟合程度怎么样；也可以说方差是刻画数据扰动对模型的影响，描述的是训练结果的分散程度）
从同一个数据集中，用科学的采样方法得到几个不同的子训练集，用这些训练集训练得到的模型往往并不相同。
参数w变大，会使模型变得更复杂（即过拟合情况），拟合的更好，故偏差会变小；而对于数据的扰动会更加敏感，所以方差会变大。

boosting和bagging的区别？

1）样本选择上：
Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的.
Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化.而权值是根据上一轮的分类结果进行调整.
2）样例权重：
Bagging：使用均匀取样，每个样例的权重相等
Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大.
3）预测函数：
Bagging：所有预测函数的权重相等.
Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重.
4）并行计算：
Bagging：各个预测函数可以并行生成
Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果.

如何从偏差和方差的角度解释bagging和boosting的原理？

偏差指的是算法的期望预测与真实值之间的偏差程度，反映了模型本身的拟合能力；方差度量了同等大小的训练集的变动导致学习性能的变化，刻画了数据扰动所导致的影响。
Bagging对样本重采样，对每一重采样得到的子样本集训练一个模型，最后取平均。由于子样本集的相似性以及使用的是同种模型，因此各模型有近似相等的bias和variance。由于bagging后的bias和单个子模型的接近，一般来说不能显著降低bias。另一方面，若各子模型独立， 此时可以显著降低variance。若各子模型完全相同， 此时不会降低variance。bagging方法得到的各子模型是有一定相关性的，属于上面两个极端状况的中间态，因此可以一定程度降低variance。
boosting从优化角度来看，是用forward-stagewise这种贪心法去最小化损失函数,由于采取的是串行优化的策略，各子模型之间是强相关的，于是子模型之和并不能显著降低variance。所以说boosting主要还是靠降低bias来提升预测精度。

文本向量表示：

• 词袋模型：one-hot、tfidf、ngram https://blog.csdn.net/huanxingchen1/article/details/107185711/
• word2vec：CBOW 和 Skip-gram https://blog.csdn.net/cqy_chen/article/details/78881084
• 预训练深度模型：ELMO 、GPT、berthttps://www.cnblogs.com/tfknight/p/12503814.html

预训练模型：

• 为什么BERT在第一句前会加一个[CLS]标志?
• Bert 如何解决长文本问题？
• bert 中postion的作用，与transformer的区别：谷歌的Transformer中使用的是正余弦函数来编码位置信息，每个词的位置编码仅仅与模型维度 [图片上传失败...(image-3b8c94-1638362084371)] 和当前词的位置 [图片上传失败...(image-7bd2d3-1638362084371)] 有关
• attention 的优势：
  • 参数少；模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。
  • 速度快：Attention 解决了 RNN 不能并行计算的问题。Attention机制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。
  • 效果好：在 Attention 机制引入之前，有一个问题大家一直很苦恼：长距离的信息会被弱化，就好像记忆能力弱的人，记不住过去的事情是一样的。
• transformer的multi-attention机制
• transformer的并行化体现：attendtion、 multi_head
• [nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert]