一解决了Heterogeneousembeddingspace问题（KG的实体向量与wordembedding不连续的问题。）

一、《Pre-trainedModelsforNaturalLanguageProcessing:ASurvey》1、第一种预训练模型是为了学习更好的wordembedding，例如skip-gram、

目录ELMo模型模型结构公式参考一个很全的总结：预训练语言模型的前世今生-从WordEmbedding到BERTELMo也参考了这个：【NLP-13】ELMo模型（EmbeddingsfromLanguageModels

文章结构：1、词的独热表示2、词的分布式表示3、词嵌入4、两种训练模式5、两种加速方法6、word2vec和wordembedding的区别7、小

Inputs是法语句子“Je{Je}Jesuis{suis}suisetudiant{etudiant}etudiant”，句子中的单词“Je”经过wordembedding转换为嵌入向量x1{x_1}

神经网络先进的结构使其能有效的建模长距离上下文依赖，以词向量（WordEmbedding）为代表的分布式表示的语言模型，深刻地影响了自然语言处理领域的其他模型与应用。神经网络语言模型的主要代

IntrotoWordembeddingbackgroundwordembedding发展史上一个比较大的跨越就是DistributionalSemantics，即用一个词的上下文去做一个词的表义，拥有相似上下文的词拥有相似的表义。wordembeddinginword2vecword2vec原理eg.Iwannatrainwordembeddingwithgiventrainingdata.CB

distributedrepresentation2.2.1基于矩阵的分布表示（Glove）GloVe模型(GlobalVectorsforWordRepresentation)2.2.2基于聚类的分布表示2.2.3基于神经网络的分布表示，词嵌入（wordembedding

WordEmbedding选择和比较在做自然语言处理过程中，常常会与wordembedding接触，特别是深度学习近几年蓬勃发展。

Wordembedding什么是词嵌入？为什么我们需要使用词嵌入？再深入探讨这些例子前，让我们看一下一些例子。有很多网站，例如：Amazon、IMDB,要求我们使用他们的产品时给予反馈。

该篇主要是讨论为什么要做wordembedding:gitbook阅读：WordEmbedding介绍至于wordembedding的详细训练方法在下一节描述。

Transformer前言1、Transformer模型整体架构2、Embeeding2.1词向量2.1.1独热编码2.1.2WordEmbedding2.1.3总结2.2代码实现3、PositionalEncoding3.1

ZSL就要求学习的问题具备充足的先验知识，例如wordNet，wordembedding等；K比较小，FSL(fewshotlear

文章目录0前言1计算机读取word的方式2WordEmbedding3Bycontext3.1countbased3.2predictionbased3.3Prediction-based-SharingParameters3.3.1

文本表示（Representation）作用：将非结构化的信息（文本）转化为结构化的信息（向量）文本表示的方法：1.one-hotrepresentation独热编码2.整数编码3.wordembedding

该框架的具体做法是将图片encoder训练到wordembedding的空间当中，ModularandParameter-EfficientMultimodalFusionwithPrompting提出了

TextRNNTextRNN仅仅是将WordEmbedding后，输入到双向LSTM中，然后对最后一位的输出输入到全连接层中，在对其进行softmax分类即可，模型如下图：代码：classRNN(nn.Module

转自知乎：预训练语言模型的前世今生-从WordEmbedding到BERT-https://zhuanlan.zhihu.com/p/396763828Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高

语言模型：从WordEmbedding到ELMoELMo原理Bi-LM总结参考资料本文主要介绍一种建立在LSTM基础上的ELMo预训练模型。

Skip-gram中skip-gram比CBOW效果更好CBOW和Skip-gram的算法实现Skip-gram的理想实现Skip-gram的实际实现自然语言处理2-NLP在自然语言处理任务中，词向量（WordEmbedding

去除停用词，建立词典，加载各种预训练词向量，Sentence->WordID->WordEmbedding的过程(TobiasLee：文本预处理方法小记)，其中不仅需要学习pytorch，可能还要学习spacy

词嵌入词嵌入（WordEmbedding）是自然语言处理（NLP）中的一种技术，用于将文本中的单词映射到一个低维向量空间中。它是将文本中的单词表示为实数值向量的一种方式。

1、WordEmbedding词语向量化仅仅把词语编号，没有体现语义之间的关联，尽量保证相似的词语有相似的特征，从而尽量可以方便语义理解这个特征也是通过机器学习得到的怎样学习能得到具备词义的特征？

Wordembedding是从离散对象(如单词)映射到向量和实数的概念，可将离散的输入对象有效地转换为有用的向量。

(WordEmbedding是根据该word在句中的上下文来决定的)可以提高模型的泛化能力。1.在应用中充当语言模型2.什么是语言模型？

目录前言1.1从WordEmbedding到ELMo2.ELMo原理2.1模型结构2.2双向语言模型2.3ELMo3.ELMo训练

一文看懂wordembedding文本表示（Representation）文本是一种非结构化的数据信息，是不可以直接被计算的。

词嵌入(wordembedding)：将词映射为实数域向量的技术称为词嵌入。词嵌入出现的原因：由于one-hot编码的词向量不能准确表达不同词之间的相似度（任何两个不同词的on

加载结构化文本数据2.3处理非结构化文本数据3.文本清洗3.1去除特殊字符3.2去除标点符号3.3大小写转换3.4去除停用词3.5词干提取和词性还原4.文本分词与词向量化4.1分词技术4.2单词嵌入（WordEmbedding

词向量简介词向量（WordEmbedding）是自然语言处理中常用的一种表示文本的方法，它将单词映射到一个低维实数向量空间中的向量表示。

使用WordEmbedding实现中文自动摘要主要步骤中文语料库数据预处理生成词向量把文档的词转换为词向量生成各主题的关键词检查运行结果参考资料本文通过一个实例介绍如何使用WordEmbedding实现中文自动摘要

.MicrosoftCOCO1.1可视化数据2.递归神经网络(RNN)2.1朴素RNN：单时间步的前向传播2.2单时间步的反向传播2.3整个时间序列的前向传播2.4整个时间序列上的反向传播3.词嵌入（Wordembedding

目录IntroductionClustering（聚类）DimensionReduction（降维）PCA（Principlecomponentanalysis，主成分分析）WordEmbedding（

word2vec即是wordtovector的缩写，一个wordtovector的处理技术或模型通常被称为“WordRepresentation”或“WordEmbedding”word2vec使用深度学习的方式进行训练得出词向量

1.自然语言和计算机的互通要通过词向量（WordEmbedding）来代表每一个词并令计算机能够理解并进行向量计算。而在词向量上，我们有两个问题：1.如何把词转换为向量?2.如何让向量具有语义信息?

梳理文本表示（词嵌入技术:WordEmbedding）相关方法概述文本的表示是自然语言处理领域重要的工作，如何更好地表示文本语义是自然语言处理领域实际应用的重要基石。

词向量（Wordembedding），即把词语表示成实数向量。“好”的词向量能体现词语直接的相近关系。词向量已经被证明可以提高NLP任务的性能，例如语法分析和情感分析。

文章目录文本的tokenization向量化1.one-hot编码2.wordembedding3.API文本的tokenizationtokenization就是通常说的分词，分出的每一个词我们把它称为

计算机视觉图片分类算法目标检测算法语义分割生成式（Generative）视觉追踪（目标追踪）人体姿态识别光学字符识别（OCR-OpticalCharacterRecognition）自然语言（NLP）序列模型:word2vec词嵌入（WordEmbedding

Multi-HeadAttentionQuery，Key，Value3.TransformerBlockLayerNormFeedForward4.DecoderBlock二、Transformer代码实现0.导入库1.WordEmbedding2

word2vec主要解决的问题是，把词典中的词表示成一个词向量（或词嵌入，wordembedding，把词嵌入到一个向量空间中），这个向量是低维的、稠密的。

目录1前言2语言表示2.1离散表示2.1.1独热编码2.1.2词袋模型2.1.3TF-IDF模型2.1.4N-gram模型2.1.5基于聚类的表示2.2连续表示2.2.1分布式表示2.2.2WordEmbedding2.2.2.1Word2Vec2.2.2.2GloVe2.2.2.3FastText2.2.3

首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量(wordembedding)，可以很好地度量词与词之间的相似性。

语言模型LanguageModel1.1语言模型是什么1.2语言模型计算什么1.3n-gramLanguageModel2.神经网络语言模型NNLM2.1N-gram模型的问题3.词向量3.1词向量(wordEmbedding

1.词嵌入向量WordEmbedding定义：词嵌入向量(WordEmbedding)是NLP里面一个重要的概念，我们可以利用WordEmbedding将一个单词转换成固定长度的向量表示，从而便于进行数学处理

去除停用词，建立词典，加载各种预训练词向量，Sentence->WordID->WordEmbedding的过程(TobiasLee：文本预处理方法

GRU(2014)GRU：它把遗忘门和输入门合并成一个更新门Seq2Seq(2014)Attention/Self-Attention(2014)ContextualWordEmbedding(上下文WordEmbedding

一个我所知道的例子是自然语言处理NLP中词向量（WordEmbedding）方法对传统语言模型的提升[1]；而且我相信，deeplearning还会进一步推动更多AI领域的发展。

最近在看多标签文本分类的文章，有一种思路是将标签也和WordEmbedding一样，弄成LabelEmbedding的形式。我们平常在文本中获得的信息不知道怎么样在脑袋里理解的，它肯定是很丰富的。

但词语是符号形式，如何转化成便于计算机处理的数值形式，或者说嵌入到一个数学空间，就叫词嵌入(wordembedding)。把维数为词典大小的高维空间嵌入到一个更低维数的连续向量空间。