NLP词汇解释

NLP名词

• 多特征融合：采用现有的多个特征集生成新的融合特征

• 特征工程:特征提取、特征降维、特征融合等

• 低资源：资源比较少

• 双向注意力机制：

• 注意力机制：

• 关键词生成方法：抽取式方法和生成式方法

• ResNet

• 双向RNN
  

• RNN
  
  

• LSTM
  

• GRU
  

• Reformer

• performer

• Sinkhorn

• Local Attention

• Synthesizer

• Linear Transformer

• informer

• swin transformers

• seq2seq（sequence-to-sequence）：解决不等长序列的问题

• syntactic parsing

• multi-class classification

• multi-label classification

• 交叉信息熵

• 归一化：

• AT Decoder

• ANT Decoder

• 向量维度越大，点乘方差越大

• transformer 中Add 借鉴了残差网络，防止退化

• 残差网络

• norm 对向量进行标准化，达到加速收敛

• 特征提取

• 模式识别

• gpt-3：基于深度学习原理的语言预测模型（decoder 聚焦于生成）

• bert （encoder 聚焦于提取，抽取，简化）

• Alphacode（生成代码） AlphaGo（下围棋） AlphaFoLD（蛋白质结构）

• pytorch中的storage指的是连续的内存块，而tensor则是映射到storage的视图，他把单条的内存区域映射成了n维的空间视图。

信息抽取研究方向

• 信息抽取：命名实体识别、指代消解、关系抽取和事件抽取
• 命名实体识别
• 指代消解
• 关系抽取
• 事件抽取
• KDD ： 帮助人类从大量数字化数据中提取有用和以前未知的信息 (即知识)的工具和理论。