Word2vec

《深度学习进阶：自然语言处理》第7章 基于RNN生成文本

《深度学习进阶：自然语言处理》啃书系列  第2章自然语言和单词的分布式表示  第3章word2vec  第4章word2vec的高速化  第5章RNN  第6章GatedRNN  第7章基于RNN生成文本
芒狗狗MangoGO·2023-11-11 10:34

机器学习——CBOW负采样(纯理解）

给我顿悟的是CSDN的一篇文章Word2Vec详解-公式推导以及代码CSDN啊，听大神一席话，如长夜得明灯啊！倒
# JFZero·2023-11-11 07:33

计算机毕设 基于机器学习的文本聚类 - 可用于舆情分析

文章目录0简介1项目介绍1.1提取文本特征1.2聚类算法选择2代码实现2.1中文文本预处理2.2特征提取2.2.1Tf-idf2.2.2word2vec2.3聚类算法2.3.1k-means2.3.2DBSCAN2.4
DanCheng-studio·2023-11-11 00:18

深度学习(CNN+RNN)笔记2

RNN、GRU、LSTM、双向RNN、深度RNN】第二周：自然语言处理与词嵌入（NaturalLanguageProcessingandWordEmbeddings）【词嵌入、嵌入矩阵、学习词嵌入、Word2Vec
夜中听雪·2023-11-09 16:36

负采样：如何高效训练词向量

2.为什么需要负采样在传统的词嵌入模型中，如Word2Vec，要计算每个词汇在上下文中的概率分布，需要使用softmax函数对整个词汇表进行运算。
oveZ·2023-11-08 21:20

计算文本相似度，输出相似度最高的n个

目录配置创建虚拟环境下载TFidf概念代码word2vec概念模型代码结果SpaCy概念模型代码结果Bert概念模型代码结果对比配置创建虚拟环境python3.9condacreate-npy39python
蓝净云·2023-11-07 10:18

Word embedding及word2Vec介绍

Wordembedding是很受欢迎的一种文档词汇表。它能够获取文档中单词的上下文，语义和句法相似性，与其他单词的关系等。它是一种语言建模技术，用于将词映射到实数向量。它代表向量空间中具有多个维度的单词或短语。可以使用各种方法（如神经网络，共现矩阵，概率模型等）来生成单词嵌入。以下面句子为例：HaveagooddayandHaveagreatday。它们意思相同。如果我们构建一个详尽的词汇表（我们
leon_kbl·2023-11-06 07:41

来自Transformers的双向编码器表示（BERT）

word2vec和GloVe等词嵌入模型与上下文无关。它们将相同的预训练向量赋给同一个词，而不考虑词的上下文（如果有的话）。它们很难处理好自然语言中的一词多义或复杂语义。
流萤数点·2023-11-06 03:37

Sklearn中CountVectorizer的简单理解

简单理解是一个文本特征提取方法，将文本转成词频矩阵，只考虑每个词出现的频率，不考虑词的前后关系（考虑前后关系的是word2vec）。
我都学杂了。。。·2023-11-05 13:13

【新人赛】阿里云恶意程序检测每周总结——混淆矩阵&word2vec

文章目录调整随机种子和取平均打印混淆矩阵添加第4类数据word2vecngram和word2vec向量拼接调整随机种子和取平均ngram(ngram_range(1,3))、subsample=1、10
solejay·2023-11-05 06:15

机器学习之Word2Vec

本文为作者学习Word2Vec算法后的整理笔记，仅供学习使用！1、概述Word2vec是Geogle公司2013年开源的一款用于训练词向量的软件工具。
Jayden Huang·2023-11-03 05:42

wiki中文语料+word2vec (python3.5 windows win7)

环境：win7+python3.51.下载wiki中文分词语料使用迅雷下载会快不少，大小为1个多Ghttps://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz22.安装opencc用于中文的简繁替换安装exe的版本到https://bintray.com/package/files/byvoid/open
deex13491·2023-11-03 05:39

基于sentencepiece工具和unicode编码两种编码分词的word2vec（CBOW，Skip-gram）词向量训练，并结合TextCNN模型，替换初始词向量进行文本分类任务

基于sentencepiece工具和unicode编码两种编码分词的word2vec（CBOW，Skip-gram）词向量训练，并结合TextCNN模型，替换初始词向量进行文本分类任务博主这次做的实验很难
Mr Gao·2023-11-02 22:25

构建Transformer模型 | 在wikiText-2数据集上训练一个语言模型

0Introduction自然语言处理通用解决方案需要熟悉word2Vec,了解词向量如何建模重点在于Transformer网络架构，BERT训练方法，实际应用开源项目，都是现成的，套用进去就OK了提供预训练模型
Eva215665·2023-11-01 20:17

【手撕算法】【NLP】【Embedding】word2vec原理，代码实现

3.2.什么是word2vec？
拾夕er·2023-10-29 14:21

【Gensim概念】02/3 NLP玩转 word2vec

第二部分句法六、句法模型（类对象和参数）6.1数据集的句子查看classgensim.models.word2vec.BrownCorpus(dirname)Bases:object迭代句子Browncorpus
无水先生·2023-10-29 09:18

word2vec训练优化之Negative Sampling

回顾一下word2vec的训练trick之一：分层softmax。缺点就是：1.对于词袋大小V如果V非常大，即使是构建哈夫曼树，复杂度也会很高，所以提出使用负采样。
#苦行僧·2023-10-29 09:34

word2vec训练词向量如何优化

训练word2vec模型时，可以采用一些方法来优化模型的表现。选择合适的语料库：使用大规模的、高质量的语料库可以提高模型的精度。
凯二七·2023-10-29 09:04

word2vec及其优化

1.算法背景：（1）N-gram：n-1阶的Markov模型，认为一个词出现的概率只与前面n-1个词相关；统计预料中各种词串（实际应用中最多采用n=3的词串长度）的出现次数，并做平滑处理（应对count=0和count=1的情况）。在预测一个句子的概率时，只需要找到相关的概率参数，将他们连乘起来。（2）神经概率语言模型：将单词映射为embedding，输入隐藏层，激活函数用tanh，输出层为一个s
码一码码码·2023-10-29 09:03

Word2vec原理+常见优化手段

官网地址：https://code.google.com/archive/p/word2vec/论文地址：https://arxiv.org/pdf/1301.3781.pdf我觉得原理讲的比较好的：word2vec
薇酱·2023-10-29 09:59

Word2vec And Doc2vec - 文本向量化

word2vec与doc2vec的区别:两者从字面意思上就可以大致判断出区别来，word2vec主要针对与单词，而doc2vec主要针对于文本：顾名思义，Word2Vec是在单个单词上训练的，而Doc2vec
shun-ripking·2023-10-29 09:27

聊一下Word2vec-训练优化篇

Word2vec涉及到两种优化方式，一种是负采样，一种是层序Softmax先谈一下负采样，以跳字模型为例。中心词生成背景词可以由两个相互独立事件的联合组成来近似（引自李沐大神的讲解）。
biuHeartBurn·2023-10-29 09:53

自然语言处理 （NLP） 简介

自然语言处理（NaturalLanguageProcessingNLP）简介本课程是关于NLP101的4部分系列中的第1部分：自然语言处理导论（今天的教程）BagofWords模型简介Word2Vec：
程序媛一枚~·2023-10-29 01:06

word2vec两种优化方式的联系和区别

总结不易，请大力点赞，感谢上一个文章，Word2vec-负采样/霍夫曼之后模型是否等价-绝对干货是字节的面试真题，建议朋友们多看几遍，有问题及时沟通。
biuHeartBurn·2023-10-28 16:57

灵魂20问帮你彻底搞定词向量

文章目录1.灵魂20问帮你彻底搞定词向量2.W2C模型篇--一个词通过Word2vec训练之后，可以得到几个词向量?
biuHeartBurn·2023-10-28 16:57

linux 繁体中文转为简体,linux - 安装OpenCC(简体繁体转换)

最近使用中文维基百科数据训练Word2Vec时，发现数据里面包含了很多繁体字，这就很尴尬了。这时候就知道OpenCC的强大了。
猫咪兔兔·2023-10-28 02:38

【Gensim概念】03/3 NLP玩转 word2vec

第三部分对象函数八word2vec对象函数该对象本质上包含单词和嵌入之间的映射。训练后，可以直接使用它以各种方式查询这些嵌入。有关示例，请参阅模块级别文档字符串。
无水先生·2023-10-26 23:46

【Gensim概念】01/3 NLP玩转 word2vec

该模块使用高度优化的C例程、数据流和Pythonic接口来实现word2vec系列算法。word2ve
无水先生·2023-10-26 02:37

【自然语言处理】理解词向量、CBOW与Skip-Gram模型

文章目录一、词向量基础知识1.1One-hot表示1.2Distributed表示二、word2vec基础知识2.1CBOW和Skip-gram三、基于HierarchicalSoftmax的CBOW模型和
酒酿小圆子～·2023-10-25 07:45

GloVe 词向量

Glove实现image.pngimage.pngimage.pngGlove与LSA、word2vec的比较LSA采用了基于奇异值分解（SVD）的矩阵分解技术对大矩阵进行降维，
dreampai·2023-10-24 15:09

自然语言处理---Transformer机制详解之ELMo模型介绍

EmbeddingsfromLanguageModels.ELMo模型的提出源于论文>.ELMo模型提出的动机源于研究人员认为一个好的预训练语言模型应该能够包含丰富的句法和语义信息,并且能够对多义词进行建模.而传统的词向量(2013年的word2vec
lichunericli·2023-10-23 15:01

4个可以写进简历的京东 NLP 项目实战

项目一、京东健康智能分诊项目第一周：文本处理与特征工程|BagofWords模型|从tf-idf到Word2Vec|SkipGram与CBOW|HierarhicalSoftmax与NegativeSampling
Amusi（CVer）·2023-10-23 13:16

Bag of Tricks for Efficient Text Classification

fasttext的结构非常简单，仅仅是word2vec中CBOW模型的一个变形，CBOW是上下文单词的词向量平均去预测中心词，fasttext是整个文档的单词的词向量平均去预测标签。
AI深入浅出·2023-10-22 14:30

BERT 理解

作为一个Word2Vec的替代者，其在NLP领域的11个方向
Carlosi·2023-10-22 14:18

sklearn文本特征预处理2:Similarity, 聚类, LDA, word2vec

接上一篇五.Similarity特征#余弦相似度fromsklearn.metrics.pairwiseimportcosine_similaritysimilarity_matrix=cosine_similarity(tv_matrix)similarity_df=pd.DataFrame(similarity_matrix)similarity_df六.聚类特征fromsklearn.clu
弎见·2023-10-21 11:44

基于pytorch的文本情感识别（LSTM,CNN）

文章目录前言一、数据处理与Word2vec词向量训练二、创建神经网络的输入batch三、神经网络模型1.LSTM2.CNN四、训练与测试六、实验结果七、完整代码1.LSTM2.CNN前言本文使用pytorch
Die Young?·2023-10-20 23:18

[一起学BERT]（二）：BERT快速使用

快速使用基于pytorch1.4BERT模型本质是一种词嵌入模型，也是句子嵌入模型，输入的最大长度是512BERT模型把离散的单词变成了空间中连续的向量，即把一个单词变成向量Bert词向量模型的好处：对比word2vec
笼中小夜莺·2023-10-20 14:00

2021斯坦福CS224N课程笔记~2

2NeuralClassifiers2.1本篇内容覆盖word2vec与词向量回顾算法优化基础计数与共现矩阵GloVe模型词向量评估wordsenses2.2.回顾：word2vec的主要思想2.2.1
mwcxz·2023-10-20 12:54

Stanford CS224N - word2vec

最近在听Stanford放出来的StanfordCS224NNLPwithDeepLearning这门课，弥补一下之前nlp这块基础知识的一些不清楚的地方，顺便巩固一下基础知识关于word2vec：1.
oveZ·2023-10-20 12:46

CS224D 课程学习笔记 L03

Lecture3.MoreWordVectorsLecture3这节课首先复习了上节课学到的word2vec模型，以及使用梯度下降和SGD优化参数，然后介绍了词向量的内部评测和外部评测，参数对于类比评测任务的影响
蜡笔大龙猫·2023-10-19 00:23

Python内置函数系统学习（2）——数据转换与计算 (详细语法参考+参数说明+应用场景示例), max()在列表、元组、字典中的综合应用 | 编程实现当前内存使用情况的监控

】基于知识图谱的电影问答系统（含问题记录与解决）附：源代码（含Bug解决）【Neo4j×知识图谱】图形化数据库基本操作:创建节点与关系、添加属性、查询节点|附：可视化构建四大名著知识图谱（含源代码）|word2vec
追光者♂·2023-10-18 06:04

2020-02-14：伯禹打卡笔记

伯禹文本预处理课程学习文本预处理一般的文本预处理步骤：分词（中英文不同，中文分词难度大一些，有一些分词工具：spaCy、NLTK、jieba等，还可以在分词之后去除停用词等，根据语料及使用场景决定）词的向量表示（One-hot（资料中的词典），Word2Vec
hc2zzcj·2023-10-15 04:38

遇到argument of type ‘Word2Vec‘ is not iterable不要慌。。。

报这个错我这里的原因是word2vec构造出来的模型不能遍历原来代码：ifwordinmodel:（model就是用word2vec构造出来的）应该修改成：vocab=model.wvifwordinvocab
昊温柔·2023-10-14 14:32

Deepwalk(深度游走)算法简介

深度游走：一种社交表示的在线学习算法主要思想Deepwalk算法参考文献主要思想  Deepwalk是一种将随机游走(randomwalk)和word2vec两种算法相结合的图结构数据挖掘算法。
Mr.Cheng1996·2023-10-14 07:14

Deepwalk深度游走算法

主要思想Deepwalk是一种将随机游走和word2vec两种算法相结合的图结构数据的挖掘算法。
big_matster·2023-10-14 07:40

DeepWalk（深度游走）算法

整理自：Deepwalk(深度游走)算法简介_Mr.Cheng1996的博客-CSDN博客【论文笔记】DeepWalk-知乎DeepWalk是一种将随机游走(randomwalk)和word2vec两种算法相结合的图结构数据挖掘算法
嵌入式开发.·2023-10-14 07:03

GloVe详解

Introduction：矩阵分解和Word2vec学习词向量的方式各有优劣，本文提出的GloVe同时学习者两种信息RelatedWord:前人工作介绍，主要介绍矩阵分解和Word2vec两种方法TheGloVeModel
Wo0_0aa7·2023-10-13 11:11

优雅！比OpenAI更认真的文本嵌入模型

关于Embedding的最早提法可追溯至2012年Google的Word2vec论文。
ZA技术社区·2023-10-13 06:31

2018-09-07

blacklist对URL进行过滤，blacklist里面有的URL直接输出为恶意，其他URL数据使用三种算法进行进一步判断，三种算法依次是：SVM、逻辑回顾、CNN，其中SVM使用TF-IDF特征，CNN使用word2vec
creamelody·2023-10-12 09:08

【问题】WARNING: There was an error checking the latest version of pip.

目录1、问题描述：2、解决办法：3、结果：参考文献:1、3、4可以解决问题今天在学习NLP是需要安装jieba库和word2vec库，但是在安装的时候出现了一下问题。
空城老祖·2023-10-11 22:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他