深度学习各子领域略览及术语列表

诸神缄默不语-个人CSDN博文目录

最近更新时间：2023.1.5
最早更新时间：2023.1.5

有些内容附带了相应的超链接作为可参考资料，有些没有。很多内容可以参考我的其他博文，有些链接我会挂到这里来。

1. 有监督supervised / 无监督unsupervised
2. 分类
   1. 多分类multi-class
   2. 多标签multi-label
   3. 极限多标签文本分类XMTC（NLP课题入门 | 极限多标签文本分类 NLP课题入门 | 极限多标签文本分类 NLP课题入门 | 极限多标签文本分类）
   4. 虚假新闻检测（NLP课题入门 day 4 虚假新闻检测）
3. 回归
4. generative / discrimination
5. 支持向量机SVM
6. K近邻分类KNN
7. 隐马尔科夫模型HMM（隐马尔科夫模型HMM）
8. 条件随机场CRF（条件随机场CRF（持续更新ing…））
9. 朴素贝叶斯分类器NBC（朴素贝叶斯Naive Bayesian分类器 (NBC) ）
10. MLP
11. 卷积神经网络CNN
12. 循环神经网络RNN（都可以双向Bi-）
    1. LSTM
    2. GRU
13. 置信度传播belief propagation
14. n-gram
15. token
16. 池化
17. 表示学习
18. 误差传播
19. 耦合 / 解耦
20. 剪枝
21. 优化optimization
    1. 凸优化convex optimization
    2. 梯度下降
    3. 反向传播back propagation (BP)
    4. 学习率learning rate
    5. weight decay
    6. momentum
    7. SGD
    8. Adam
    9. EM（变分推断（variational inference）/variational EM）
22. attention（你给我解释解释，什么TMD叫TMD attention（持续更新ing…））
23. transformers（Transformer/Bert）
24. TF-IDF模型
25. 词袋模型BoW
26. word2vec
27. 预训练语言模型pretrained language model
    1. Bert
    2. SciBert
    3. RPT
    4. NEZHA
    5. ERNIE-百度
    6. ERNIE-清华
    7. DistilledBert
    8. Bart
    9. CPT
    10. Pegasus
    11. 预训练语言模型概述（持续更新ing…）
    12. [CLS]
    13. [SEP]
28. 微调finetune
29. prompt / 提示学习prompt learning
30. 小样本学习（N-way就表示每类能看到几个训练集样本）
31. 零样本学习
32. 分词tokenization
    1. BPE
33. 远程监督
34. 序列标注
    1. 命名实体识别NER
    2. 关系抽取relation extraction
35. 事件检测/事件抽取
    1. 博文
       1. NLP基础知识 | 常见任务类型 | 事件检测
36. 信息检索information retrieval (IR)
    1. 召回-重排rerank
    2. 文本匹配
       1. 句子相似度
       2. 算法：BM25
    3. NLP基础知识 | 常见任务类型 | 信息检索
    4. 向量检索/向量相似性计算方法（持续更新ing…）
37. 图神经网络graph neural networks (GNN)
    1. transductive learning / inductive learning
    2. 节点分类
    3. 链路预测（图学习中的链路预测任务（持续更新ing…））
    4. 图分类
    5. 子图学习
    6. node2vec
    7. GCN
    8. GraphSAGE
    9. GAT
    10. GIN
    11. APPNP
    12. C&S
    13. 异质图神经网络HGNN（异质图神经网络（持续更新ing…））
        1. metapath
        2. meta-graph
        3. metapath-based neighborhood
        4. meta-path neighbor graph / metapath-based graph
        5. network schema
        6. metapath及其相关概念（持续更新ing…）
        7. metapath2vec
        8. HAN
        9. GTN
        10. MAGNN
        11. HGT
        12. RGCN
        13. GATNE
        14. G2G
        15. DEAL
    14. subgraph neural networks（NLP课题入门 | day 20）
38. 关系学习relational learning（relational learning关系学习）
39. 度量学习metric learning
40. 对比学习contrastive learning
41. 数据增强data augmentation
42. 数据抽样sampling
43. 对抗攻击
44. 对抗防御
45. 黑盒模型 / 白盒模型
46. 可解释性
47. rationale
48. 鲁棒性robustness
49. GAN
50. 多任务学习multi-task learning：就是在训练多种任务时共用一部分模型参数
51. 关键词提取（常用的Python3关键词提取方法）
52. 主题分类
53. 文本生成natural language generation (NLG)
    1. 文本摘要text summarization
       1. 抽取式摘要extractive summarization / 生成式摘要abstractive summarization
       2. 文本摘要（text summarization）任务：研究范式，重要模型，评估指标（持续更新ing…）
    2. 机器翻译machine translation
    3. paraphrase generation：生成输入文本的同义文本（相当于转述）
    4. PPT生成
    5. 问答QA
    6. 创新度novelty
    7. encoder-decoder架构
    8. seq2seq任务
54. 自然语言理解NLU
    1. 蕴含识别entailment
    2. 槽填充slot filling（NLP基础知识 | 常见任务类型 | 槽填充 NLP课题入门 | day 15 | 槽填充）
    3. 意图识别（NLP课题入门 | day 14 | 意图分类
55. 知识图谱knowledge graph (KG)
    1. 实体对齐
    2. 知识图谱补全KG Completion
    3. TransE
    4. TransR
    5. DistMult
56. 实体消歧
57. 本体对齐ontology alignment
58. 推荐系统
    1. 协同过滤
59. 阅读理解Machine Reading Comprehension (MRC)
60. 归一化 / 正则化
    1. 最大最小规范化min-max scalar
    2. Z Score正则化
    3. batch normalization
    4. layer normalization
    5. dropout
    6. 深度学习中的trick | 先BN后dropout：同时使用有争议
61. 强化学习reinforcement learning
62. 模型量化quantization
63. 上下文学习in-context learning (ICL)：看起来意思就是用相关样本来预测目标样本。你是transductive learning！！！
    1. 上下文学习（in-context learning），检索和OOD外推 - 知乎
    2. A Survey for In-context Learning
64. graph un-learning：理念是从模型中去掉已学习的部分训练集（想要保护隐私，所以要删除指定用户数据，这种scenario）
65. out-of-distribution (OOD)
66. 元学习meta-learning
67. 因果推理
68. 讽刺检测sarcasm detection（NLP课题入门 | day 9 | 讽刺检测）
69. NLP其他
    1. 跨语言cross-language