自然语言处理-词嵌入 (Word Embeddings)

词嵌入（Word Embedding）是一种将单词或短语映射到高维向量空间的技术，使其能够以数学方式表示单词之间的关系。词嵌入能够捕捉语义信息，使得相似的词在向量空间中具有相近的表示。

常见词嵌入方法

1. 基于矩阵分解的方法

   • Latent Semantic Analysis (LSA)
   • Latent Dirichlet Allocation (LDA)
   • 非负矩阵分解 (NMF)

2. 基于神经网络的方法

   • Word2Vec（Google 提出）
     • CBOW（Continuous Bag of Words）：通过上下文预测目标词
     • Skip-gram：通过目标词预测上下文
   • GloVe（Stanford 提出）
     • 结合全局共现矩阵与局部窗口信息，优化词向量质量
   • FastText（Facebook 提出）
     • 采用子词（Subword）表示，能更好处理未登录词（OOV, Out of Vocabulary）

3. 基于 Transformer 预训练模型的方法

   • ELMo（Embeddings from Language Models）
   • BERT（Bidirectional Encoder Representations from Transformers）
   • GPT（Generative Pre-trained Transformer）
   • T5（Text-To-Text Transfer Transformer）