NLP词汇解释

NLP名词

  • 多特征融合:采用现有的多个特征集生成新的融合特征

  • 特征工程:特征提取、特征降维、特征融合等

  • 低资源:资源比较少

  • 双向注意力机制:

  • 注意力机制:

  • 关键词生成方法:抽取式方法和生成式方法

  • ResNet

  • 双向RNN
    NLP词汇解释_第1张图片

  • RNN
    NLP词汇解释_第2张图片
    NLP词汇解释_第3张图片

  • LSTM
    NLP词汇解释_第4张图片

  • GRU
    NLP词汇解释_第5张图片

  • Reformer

  • performer

  • Sinkhorn

  • Local Attention

  • Synthesizer

  • Linear Transformer

  • informer

  • swin transformers

  • seq2seq(sequence-to-sequence):解决不等长序列的问题

  • syntactic parsing

  • multi-class classification

  • multi-label classification

  • 交叉信息熵

  • 归一化:

  • AT Decoder

  • ANT Decoder

  • 向量维度越大,点乘方差越大

  • transformer 中Add 借鉴了残差网络,防止退化

  • 残差网络

  • norm 对向量进行标准化,达到加速收敛

  • 特征提取

  • 模式识别

  • gpt-3:基于深度学习原理的语言预测模型(decoder 聚焦于生成)

  • bert (encoder 聚焦于提取,抽取,简化)

  • Alphacode(生成代码) AlphaGo(下围棋) AlphaFoLD(蛋白质结构)

  • pytorch中的storage指的是连续的内存块,而tensor则是映射到storage的视图,他把单条的内存区域映射成了n维的空间视图。

信息抽取研究方向

  • 信息抽取:命名实体识别、指代消解、关系抽取和事件抽取
  • 命名实体识别
  • 指代消解
  • 关系抽取
  • 事件抽取
  • KDD : 帮助人类从大量数字化数据中提取有用和以前未知的信息 (即知识)的工具和理论。

你可能感兴趣的:(NLP,自然语言处理,深度学习,人工智能)