词向量

自然语言处理N天-AllenNLP学习（模型训练、评价和预测）

去除停用词，建立词典，加载各种预训练词向量，Sentence->WordID->WordEmbedding的过程(TobiasLee：文本预处理方法小记)，其中不仅需要学
我的昵称违规了·2020-08-23 06:53

NLP中文词向量训练：word2vec（Negative Sampling）

一.基于HierarchicalSoftmax的word2vec模型的缺点HierarchicalSoftmax，使用霍夫曼树结构代替了传统的神经网络，可以提高模型训练的效率。但是如果基于HierarchicalSoftmax的模型中所以词的位置是基于词频放置的霍夫曼树结构，词频越高的词在离根节点越近的叶子节点，词频越低的词在离根节点越远的叶子节点。也就是说当该模型在训练到生僻词时，需要走很深的路
jiaojiaolou·2020-08-23 06:52

PyTorch实战（1）---- 用Skip-thought模型训练词向量

用Skip-thought模型训练词向量importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimporttorch.utils.dataastudfromcollectionsimportCounterimportnumpyasnpimportrandomimportmathimportpandasaspdimportscipyimpo
Sunstar__·2020-08-23 05:40

深度之眼Paper带读笔记NLP.3：句和文档的embedding

HistoryModelBag-of-wordsModel加权平均法WeightedAveragingMethod深度学习模型DeepLearningModel子分布式表示相关方法前期知识储备第二课论文精读论文整体框架传统/经典算法模型基于语言模型的词向量训练
oldmao_2001·2020-08-23 04:01

【论文笔记】Document Embedding with Paragraph Vectors

DocumentEmbeddingwithParagraphVectors作者评估了大型维基百科和arXiv文档检索任务上的段落向量，并将结果与LDA，BoW和单词向量平均模型进行了比较。
DrogoZhang·2020-08-23 04:20

SimilarVocabulary--动手实现一个基于NLP的相近单词检索器

介绍SimilarVocabulary是我在github上的一个开源项目，项目本身并不复杂，使用了NLP中的词向量来检索到关联程度较大的单词，项目套用了NLP中一个开源的库spacy.该库自带了一个训练好的模型
WotChin·2020-08-23 03:58

第一篇: 词向量之Word2vector原理浅析

一、概述本文主要是从deeplearningfornlp课程的讲义中学习、总结googleword2vector的原理和词向量的训练方法。
Aroundtheworld·2020-08-23 02:05

Word2Vec

CBOW与Skip-Gram模型基础word2vec原理(二)基于HierarchicalSoftmax的模型word2vec原理(三)基于NegativeSampling的模型基于word2vec训练词向量
菜鸟瞎编·2020-08-23 02:36

基于word2vec训练词向量(一)

1.回顾DNN训练词向量上次说到了通过DNN模型训练词获得词向量，这次来讲解下如何用word2vec训练词获取词向量。
人工智能遇见磐创·2020-08-22 23:56

gensim的word2vec如何得出词向量（python）

利用gensim中的word2vec得到词向量的具体代码实现步骤点解此链接有详解https://blog.csdn.net/weixin_40292043/article/details/79571346
谢润忠·2020-08-22 22:59

word2vec词向量训练-C语言版

先介绍官方C语言版的训练方法。对于这个方法，我认为几个词可以概括：简单、快速1.安装word2vec工具C语言版项目地址：http://word2vec.googlecode.com/svn/trunk/注：这个需要svn工具来下载。如果实在下载不到，可以上网找下其他资源下载好之后将文件放到指定文件夹中，使用makefile安装，即运行：“make”安装好之后如下图：可以看到有编译好的"word2
MiracleJQ·2020-08-22 15:16

word2vec理解及pytorch实现

Skip-gram模型1.训练样本2.skip-gram负采样negativesample欠采样subsamplepytorch实现word2vec是Google研究团队的成果之一，它作为一种主流的获取分布式词向量的工具
枫林扬·2020-08-22 15:38

Word Embedding与analogy reasoning（词嵌入与类比推理的过程）

简单理解，就是词向量，代替one-hot编码做词向量。
ybdesire·2020-08-22 15:39

cs224n学习笔记 04：Contextual Word Embeddings

ReflectionsonwordrepresentationsPre-ELMoandELMOULMfitandonwardTransformerarchitecturesBERTReflectionsonwordrepresentations之前的CS22N的课程介绍了词向量比如
Irving_III·2020-08-22 14:37

cs224n学习笔记 01: Introduction and word vectors

1词向量英语中近130万的单词，并且这些单词之间也存在一定的联系，比如：cat-feline，hotel-motel。
Irving_III·2020-08-22 14:37

【cs224n学习作业】Assignment 1 - Exploring Word Vectors【附代码】

前言这篇文章是CS224N课程的第一个大作业，主要是对词向量做了一个探索，并直观的感受了一下词嵌入或者词向量的效果。这里简单的记录一下我探索的一个过程。
Irving_III·2020-08-22 14:37

Pytorch深度学习（7） -- 文本情感分类 CNN

深度学习（7）--文本情感分类CNN1.文本情感分类：使用卷积神经网络（textCNN）1.1一维卷积层1.2时序最大池化层1.3读取和预处理IMDb数据集1.4textCNN模型1.4.1加载预训练的词向量
蜻蜓队长TTT·2020-08-22 14:26

Pytorch深度学习（6） -- 文本情感分类 RNN

深度学习（6）--文本情感分类RNN1.文本情感分类：使用循环神经网络1.1文本情感分类数据1.1.1读取数据1.1.2预处理数据1.1.3创建数据迭代器1.2使用循环神经网络的模型1.2.1加载预训练的词向量
蜻蜓队长TTT·2020-08-22 14:55

N-Gram模型预测单词

词嵌入只有先将单词编码为数字，每个单词匹配一个数字，才能传入Embedding中，进行词向量的转化。
长安过客君·2020-08-22 14:49

使用LSTM进行情感分析

案例流程1)制作词向量，可以使用gensim这个库，也可以直接用现成的2)词和ID的映射，常规套路了3)构建RNN网络架构4)训练我们的模型5)试试咋样导入数据首先，我们需要去创建词向量。
润森·2020-08-22 14:18

Task05 word2vec,textrnn,textcnn

使用gensim训练word2vec本DEMO只使用部分数据，使用全部数据预训练的词向量地址：链接:https://pan.baidu.com/s/1ewlck3zwXVQuAzraZ26Euw提取码:
佛系·2020-08-22 14:06

史上最全的中文词汇数据集

腾讯正式开源一个大规模、高质量的中文词向量数据集。数据集中有800多万中文词汇，相比现有搜狗实验室，清华和哈工大公布的语料库，覆盖率、新鲜度及准确性上有大幅的提高。
中国小宝·2020-08-22 14:12

词嵌入技术解析（一）

1.词向量介绍在讨论词嵌入之前，先要理解词向量的表达形式，注意，这里的词向量不是指Word2Vec。
weixin_30781775·2020-08-22 14:03

自然语言处理（NLP）：08 PyTorch深度学习之TextCNN短文本分类

本章节主要研究内容：基于PyTorch深度学习工具来完成短文本分类知识点业务需求文本分类应用场景、技术方案以及挑战技术架构文本分析词向量CNN原理tensorboardX可视化项目实战：基于TextCNN
福利2020·2020-08-22 13:39

新闻文本分类--任务5 基于深度学习的文本分类2

学习目标学习Word2Vec的使用和基础原理学习使用TextCNN、TextRNN进行文本表示学习使用HAN网络结构完成文本分类文本表示方法Part3词向量本节通过word2vec学习
迷途小龙驹·2020-08-22 13:13

datawhale-cs224n-task04

task-04单词的表示对不知道的单词使用词向量的建议单词表示的两大问题单词表示的解决方法：TagLM-"Pre-ELMo"NamedEntityRecognition(NER)CoVe单词的表示前面我们已经学习了
qq_37296909·2020-08-22 13:33

torchtext使用

预处理流程：1.定义Field：声明如何处理数据2.定义Dataset：得到数据集，此时数据集里每一个样本是一个经过Field声明的预处理预处理后的wordlist3.建立vocab：在这一步建立词汇表，词向量
七月听雪·2020-08-22 13:04

【pytorch实战1】用skip-gram训练词向量

Skip-gram原理如图我们最终想要的是词库中单词的词向量表示，所以使用一层神经网络来实现Skip-gram算法，最后得到WordE
mapsnirc·2020-08-22 13:36

NLP-task4 EMLO &BERT Models

目录ELMO模型论文摘要核心思想模型细节GPT模型BERT模型ELMO模型论文摘要本文作者推出了一种新的基于深度学习框架的词向量表征模型，这种模型不仅能够表征词汇的语法和语义层面的特征，也能够随着上下文语境的变换而改变
学机器学习的机械工程师·2020-08-22 12:07

基于LSTM和TextCNN的文本情感分析

Pipeline读取评论数据和情感标签预处理文本数据创建数据迭代器建立神经网络模型加载预训练词向量训练模型模型评价LSTM对于给定序列{X1,X2,...,XT}\{\boldsymbolX_1,\boldsymbolX
To_be_thinking·2020-08-22 12:41

cs224n学习2：Word Vectors II: GloVe, Evaluation and Training

WordVectorsII:GloVe,EvaluationandTraining1.单词表示的全局向量（GloVe）1.1与先前方法的比较1.2共现矩阵1.3最小二乘目标1.4结论2词向量的评估2.1
Rock_y·2020-08-22 12:29

cs224n学习1：Word2Vec发展及代码实现

Word2Vec语言模型计算缺点基于马尔科夫的假设n-gram模型构造语言模型词向量独热编码语言模型生成词向量word2vecContinuousBagofWords（CBOW）Skip-gram训练技巧目标函数公式推导代码实现语言模型语
Rock_y·2020-08-22 12:57

PaddlePaddle在使用词向量模型预测是得不到预测的单词

关键字：预测结果，数据字典问题描述：使用训练好的模型参数和定义的网络创建一个预测器，使用这样预测器预测数据，得到一个预测结果，但是这个预测结果不是一个单词，而是一个数字。问题复现：通过使用paddle.fluid.contrib.inferencer.infer预测接口预测四个单词数据，得到下一个单词。但是把最大概率的结果值输出，得到的是一个数字，而不是想要的一个字符串的单词。result=inf
飞桨PaddlePaddle·2020-08-22 12:20

词向量与Embedding究竟是怎么回事？

万物皆Embedding，从经典的word2vec到深度学习基本操作item2vec词向量与Embedding究竟是怎么回事？词向量（word2vec）
关关雎鸠ԅ(¯﹃¯ԅ)·2020-08-22 12:02

tf.unstack的作用

a_unstack=tf.unstack(A,num=3,axis=1)我们得到：[array([1,4]),array([2,5]),array([3,6])]即对A在y方向上对其进行切分，以获得每个单词的词向量
Eric_LH·2020-08-22 12:10

词向量（Word Embedding）和单词预测（Word Prediction）

文章目录一、词变量二、单词预测一、词变量为什么要引入词变量？在分类问题中，采用的编码为one-hot编码，例如总共有五类，属于第二类的标签为（0,1,0,0,0）。但是在一篇文章中，单词的个数有成千上万个，倘若还是用one-hot编码，会消耗过多计算资源。词变量：将单词转化为一个n维向量。根据单词的数量使用torch.nn.Embedding(num_embeddings:int,embeddin
爱吃蛋炒饭的小老鼠·2020-08-22 11:38

pytorch中nn.RNN()总结

nonlinearity=tanh,bias=True,batch_first=False,dropout=0,bidirectional=False)参数说明input_size输入特征的维度，一般rnn中输入的是词向量
orangerfun·2020-08-22 11:29

通用词向量、句向量研究现状

摘要：目前，词和语句的嵌入已经成为任何基于深度训练的自然语言处理系统的重要组成部分。自然语言处理系统在固定长度的密集向量中编码单词和语句，从而通过神经网络极大地改进文本数据的处理。现如今，一个巨大的趋势是对通用嵌入的探索：在一个大语料库中进行预先嵌入训练，并且可以插入各种下游的任务模型（情感分析、分类、翻译……），通过包含一些在更大的数据集上训练过的常规词或者语句的表示来自动提高其性能。这就是迁移
阿里云云栖号·2020-08-22 10:42

推荐系统技术文本相似性计算（三）实战篇

词向量就不在这篇试了，词向量和这两个关系不大，不好对比，不过我最后也给出了代码。
吴yh坚·2020-08-22 09:19

基于朴素贝叶斯的文本分类

准备数据：从文本中构建词向量前期测试函数用的数据，论坛中的文本，每一行代表一条留言，标点符号已经去掉。
xiapeike·2020-08-22 04:18

NLP入门打卡_赛题理解&报名

score作为评价标准:fscore=2∗ppv∗tprppv+tprfscore=2*\frac{ppv*tpr}{ppv+tpr}fscore=2∗ppv+tprppv∗tpr可以使用tf-idf、词向量
dancingmind·2020-08-22 04:28

NLP学习-Task 3: 子词模型Subword Models

NLP学习更新流程↓Task1:简介和词向量WordVectorsTask2:词向量和词义WordSensesTask3:子词模型SubwordModelsTask4:ContextualWordEmbeddingsTask5
iiVax·2020-08-22 04:57

Task 2: Word Vectors and Word Senses （附代码）（Stanford CS224N NLP with Deep Learning Winter 2019）

Task2:WordVectorsandWordSenses目录Task2:WordVectorsandWordSenses一、词向量计算方法1回顾word2vec的计算2word2vec中计算方法详解
南有芙蕖·2020-08-22 04:16

推荐系统技术文本相似性计算（三）实战篇

词向量就不在这篇试了，词向量和这两个关系不大，不好对比，不过我最后也给出了代码。
weixin_34357887·2020-08-22 04:24

python构建词向量分析《笑傲江湖》人物之间的关系

首先进行jieba分词，去除停用词；然后通过正则表达式去除无关字符，构建词向量；最后提取小说的所有人名并画图展示出来。
spartanfuk·2020-08-22 03:53

对话系统评价指标Greedy Match代码实现

GreedyMatching贪婪匹配方法是基于词级别的一种矩阵匹配方法，在给出的两个句子r和r^，每一个词w∈r都会经过词向量转换后变为词向量ew，同时与r^中的每一个词序列w^∈r^的词向量ew^最大程度进行余弦相似度匹配
爱吃饼干和酸奶的螺丝·2020-08-22 02:05

17.LDA与word2vec区别

blog.csdn.net/v_july_v/article/details/41209515总的来说LDA与word2vec区别如下：区别LDAword2vec输出文档-主题概率分布矩阵和主题-词概率分布矩阵词对应的词向量训练方法利用文档中单词的贡献关系来对单词按主题聚类
haidixipan·2020-08-22 01:39

集体智慧编程——博客文章聚类-Python实现

使用的特征为词向量。即特定词在博客文章中出现的次数。读入数据数据中行的第一个词代表博客名，列的第一个词代表单词特征。存储的数字代表该词在该博客中出现的次数。读入该句子，用Python的list存储。
白辰甲·2020-08-22 01:18

4-2节 朴素贝叶斯|训练算法：从词向量计算概率|机器学习实战-学习笔记

文章原创,最近更新：2018-08-20学习参考链接:第4章基于概率论的分类方法：朴素贝叶斯本章节的主要内容是:重点介绍项目案例1:屏蔽社区留言板的侮辱性言论:训练算法：从词向量计算概率的代码。
durian221783310·2020-08-22 00:34

Spark：HanLP+Word2Vec+LSH实现文本推荐(kotlin)

Spark：HanLP+Word2Vec+LSH实现文本推荐(kotlin)文本推荐的基本流程就是首先对目标本文进行关键词提取，接着把关键词转成词向量，再计算词向量的相似性进行推荐。
酸奶大战纯牛奶·2020-08-21 23:05
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他