Gensim 第9页

词向量 - 实际动手使用word2vec

良好的词向量可以达到语义相近的词在词向量空间里聚集在一起，这对后续的文本分类，文本聚类等等算法提供良好的数据样本，本文将详细介绍如何使用word2vec构建中文词向量这里所需要用到的包，这些包需要首先使用pip或者conda安装jiabagensimsklearn

贾磊_cd·2021-06-13 08:36

NLP resources

NaturalLanguageProcessingwithDeepLearningWord2vecTutorialhttp://www.52nlp.cn/tag/nlp%E4%B9%A6%E7%B1%8Dgensim

Lucien_Liu·2021-06-04 18:10

孪生LSTM模型计算短语和句子相似性

下载代码从github上下载代码：https://github.com/dhwajraj/deep-siamese-text-similarity安装gensim工具包升级和修改源代码（由于代码是基于1.0

风驰电掣一瓜牛·2021-05-17 01:50

中文维基百科语料的Word2vec训练-gensim

语料获取英文维基百科中文维基百科预处理数据将xml的压缩文件处理成text格式pythonprocess_wiki.pyzhwiki-latest-pages-articles.xml.bz2wiki.zh.text将wiki.zh.text中的繁体字转化为简体字，利用开源项目openccopencc-iwiki.zh.text-owiki.zh.jian.text-ct2s.json分词，利用j

c9c574caa6d5·2021-05-15 14:30

gensim

importgensim#LoadGoogle'spre-trainedWord2Vecmodel.model=gensim.models.Word2Vec.load_word2vec_format('

重新出发_砥砺前行·2021-05-14 02:44

我的一年(2016)

（吐槽点太多），week2里介绍了jieba分词，tf-idf，gensim计算文本相似

lmingzhi·2021-05-13 13:55

Mac 自带python安装scipy出问题解决方法

我是在安装gensim的时候需要安装scipy结果提示已安装，卸载的时候提示授权拒绝，虽然我用sudo了OSError:[Errno1]Operationnotpermitted:'/tmp/pip-aWUKmS-uninstall

你说你要一场·2021-05-11 13:48

中文微博badword分类

importjiebaimportnumpyasnpimportxml.dom.minidomimportrandomfromgensim.modelsimportWord2Vecfromgensim.corpora.dictionaryimportDictionaryfromkeras.preprocessing.sequenceimportpad_sequencesfromkeras.util

SeanC52111·2021-05-09 12:13

基于 Gensim 的 Word2Vec 实践

模型创建Gensim中Word2Vec模型的期望输入是进过分词的句子列表，即是某个二维数组。这里我们暂时使用Python内置的数组，不过其在输入数据集较大的情况下会占用大量的RAM。

chaaffff·2021-05-07 10:54

使用不同的方法计算TF-IDF值

一.摘要这篇文章主要介绍了计算TF-IDF的不同方法实现，主要有三种方法：用gensim库来计算tfidf值用sklearn库来计算tfidf值用python手动实现tfidf的计算关于TFIDF的算法原理我就不过多介绍了

炼己者·2021-05-06 22:55

如何用 Python 和 gensim 调用中文词嵌入预训练模型？

利用Python和Spacy尝试过英文的词嵌入模型后，你是不是很想了解如何对中文词语做向量表达，让机器建模时捕捉更多语义信息呢？这份视频教程，会手把手教你操作。疑问写过《如何用Python处理自然语言？（Spacy与WordEmbedding）》一文后，不少同学留言或私信询问我，如何用Spacy处理中文词语，捕捉更多语义信息。回顾一下，利用词嵌入预训练模型，Spacy可以做许多很酷的事情。例如计算

王树义·2021-04-20 16:23

网易云音乐上的所有！全部！随便爬！（Python爬虫&基于网易云音乐评论的用户推荐系统）（二）

伪文艺boy·2021-04-19 03:47

gensim #2 迭代计算

gensim的优势在于2点：所有向量使用稀疏表示，占用内存小得多。支持结合Python的迭代计算，内存友好。

平仄_pingze·2021-04-14 06:21

【NLP】5计数词向量底层代码编写和gensim word2vec库入门——斯坦福大学CS224n第一次课作业代码复现

gensimword2vec库入门背景：词向量第一部分：基于计数的词向量共现矩阵绘制共现词嵌入图问题1.1：实现distinct_words问题1.2：实现compute_co_occurrence_matrix

Yang SiCheng·2021-02-13 14:04

【NLP】4 gensim word2vec库入门——官方手册embeddings和KeyedVectors

gensimword2vec库官方手册1.Word2vecembeddings1.1简介1.2其它的嵌入1.3使用例程1.4多字ngrams的嵌入1.5预训练模型补充:gensim-data(1)Gensim-data

Yang SiCheng·2021-02-12 23:13

【NLP】1安装gensim库与斯坦福大学CS224n第一次课代码复现

Gensimwordvectorvisualization1.安装gensim库2.word2vec实例小结1.安装gensim库打开命令行，输入：pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn

Yang SiCheng·2021-02-09 13:23

pycharm 怎么打包第三方库_详解Pycharm第三方库的安装及使用方法

方法二：pipinstall下载路径\包名.whl(需要先下载第三包：地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/，找到所需的包并下载保存)，如下例安装gensim

weixin_39617215·2021-01-28 14:49

GENSIM官方教程（4.0.0beta最新版）-Word2Vec词向量模型

GENSIM官方教程（4.0.0beta最新版）-词向量模型译文目录回顾：词袋模型简介：词向量模型词向量模型训练实例训练一个你自己的模型储存和加载模型训练参数内存相关的细节模型评估在线学习计算训练损失基准测试词嵌入可视化译文目录

Ace Cheney·2021-01-28 13:19

gensim和word2vec两种方式导入词向量

#法一:importword2vec#不是gensimdataPatn="vector.txt"'''第一行为词表大小和维度如：20000128我0.001-0.0020.004你0.125-0.2150.112

想念@思恋·2021-01-26 17:42

自然语言处理--利用 Doc2vec 计算文档向量

与训练词向量类似，可以使用gensim包来训练文档向量。

@糯米君·2021-01-21 23:41

详解Pycharm第三方库的安装及使用方法

方法二：pipinstall下载路径\包名.whl（需要先下载第三包：地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/，找到所需的包并下载保存），如下例安装gensim

·2021-01-12 16:32

人为增加近义词 | Word2Vec的语料制作和训练

第零步：介绍终于弄明白了gensim.word2vec怎么玩，说到底word2vec就是用共现矩阵来判断两个词语是不是相关，从而得出两个词语相似度高不高，这话听起来有问题~但事实就是这样的，不管我们认为这两个词是不是近义词

訢詡·2020-12-23 09:19

比SkLearn更好用的机器学习工具-PyCaret

它的原理大概就是封装了Sklearn，XGBoost，LightGBM，Spacy，Shap，PyOD，Gensim，WordCloud等工具，几乎包括机器学习所有的使用场景和方法（不含深度学习）。

李博Garvin·2020-12-20 17:28

使用gensim框架及Word2Vec词向量模型获取相似词

使用gensim框架及Word2Vec词向量模型获取相似词预备知识Word2Vec模型下载加载词向量模型预备知识gensim框架gensim是基于Python的一个框架，它不但将Python与Word2Vec

Dream丶Killer·2020-12-16 11:42

自然语言处理基础

从宏观来看，gensim提供了一个发现文档语义结构的工具，通过检查词出现的频率。gensim读取语料，输出词向量。词向量可以用来训练各种分类器模型。这三个模型是理解gensim的核心概念。

许进进·2020-11-30 22:50

NLP笔记：word2vec简单考察

NLP笔记：word2vec简单考察1.简介2.word2vec原理介绍3.gensim实现4.tensorflow实现1.cbow方式2.skipgram方式3.直接生成方式4.结论5.pytorch

墨客无言·2020-11-28 21:58

pip更换安装包的数据源，解决安装速度慢的问题

以安装gensim包为例pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplegensim

Rory602·2020-11-22 12:56

fasttext的使用

涉及两个包:官方fasttext包gensim官方可以下载各种语言的预训练好的文件但是并不支持finetune，所以下载vec文件后用gensim加载作为静态词向量使用即可官方fasttext包有监督fasttext

992134d3a7cd·2020-11-08 23:00

pyLDA系列︱考量时间因素的动态主题模型（Dynamic Topic Models）

笔者很早就对LDA模型着迷，最近在学习gensim库发现了LDA比较有意义且项目较为完整的Tutorials,于是乎就有本系列,本系列包含三款：LatentDirichletAllocation、Author-TopicModel

悟乙己·2020-09-17 13:17

word2vec函数参数

gensim.models.word2vec.Word2Vec(sentences=None,corpus_file=None,size=100,alpha=0.025,window=5,min_count

冥更·2020-09-17 05:41

LDA模型的实现【附完整代码】

LDA模型#-*-coding:utf-8-*-"""CreatedonMonMay1322:05:052019@author:PC"""#-*-coding:utf-8-*-importcsvfromgensimimportcorpora

(๐•̆ ·̭ •̆๐) 熊小安·2020-09-17 02:20

word2vec训练中文词向量

记录一下自己使用gensim的word2vec训练中文字向量的实验过程，环境：windows10+python3.61.准备工作安装gensim直接在AnacondaPrompt中输入命令pipinstallgensim

空卍·2020-09-17 00:58

记录使用gensim进行词向量增量训练（遇到的几个问题）

一般很少用到gensim来训练词向量，但是网上关于词向量增量训练几乎都是用gensim解决的，所以记录下使用gensim进行词向量增量训练及一个问题（笔记性质，记录给自己看。。。

昔年xiri·2020-09-17 00:41

使用TensorFlow进行中文自然语言处理的情感分析

1TensorFlow使用分析流程：1.1使用gensim加载预训练中文分词embedding加载预训练词向量模型：https://github.com/Embedding/Chinese-Word-Vectors

weixin_30633405·2020-09-17 00:11

word2vec词向量的训练--实战篇（语言模型词向量的生成）

本文目录：新闻预料预处理（全角转换成半角，xml格式提取内容，分词）word2vec训练词向量（gensim生成并保存模型）新闻语料预处理本文使用的是搜狗新闻语料库，原始语料是类似下图中xml格式，首先需要提取中语料中正真的新闻内容

huangrs098·2020-09-16 23:20

训练词向量实战

基于gensim训练中文词向量数据集下载中文维基百科数据[维基百科数据链接](https://dumps.wikimedia.org/zhwiki/)，在该目录下选择最新的数据，我下载的是zhwiki-latest-pages-articles.xml.bz2

要努力的鱼～·2020-09-16 22:31

训练词向量的调参技巧

以词为基本单元输入的自然语言处理任务中，都避免不了使用词的表示，词的表示有很多种，这里主要介绍的就是词向量，word2vec是目前比较通用的训练词向量的工具，使用Gensim模块，可以使词向量的训练变的简单

Bonyin·2020-09-16 22:03

Word2vec 中文词向量训练

Word2vector中文词向量训练代码1：#-*-coding:utf-8-*-fromgensim.modelsimportWord2Vecfromgensim.models.word2vecimportLineSentencetxtpath

*MuYu*·2020-09-16 22:14

怎么加载训练好的词向量bin

有的时候需要加载之际之前训练好的词向量，或者加载下载的别人的词向量，加载如下：1默认方法如果你是用默认方法训练的，则可以直接load：model.save('/model/word2vec_model')new_model=gensim.models.Word2Vec.load

最小森林·2020-09-16 21:25

268G+训练好的word2vec模型（中文词向量）

+条，26G+搜狐新闻400w+条，13G+小说：229G+image.png模型参数：window=5min_count=10size=128hs=1negative=0iter=5ps：其它参数见gensim

stay_foolish12·2020-09-16 21:22

python报错TypeError: must be str, not list

报错在下面绿色的这一行，TypeError:mustbestr,notlist我试着像别人说的那样改open函数，还是报错，最后大神给出的方案成功跑通了importreimportlogging#logbookfromgensimimportcorpora

wamg潇潇·2020-09-16 15:53

gensim进行LSI LSA LDA主题模型，TFIDF关键词提取，jieba TextRank关键词提取代码实现示例

importgensimimportmathimportjiebaimportjieba.possegaspossegfromjiebaimportanalysefromgensimimportcorpora

光英的记忆·2020-09-15 14:05

基于中文维基百科的词向量构建及可视化

你将使用Gensim和维基百科获得你的第一批中文词向量，并且感受词向量训练的基本过程。

Steven灬·2020-09-14 21:12

LDA小结及在gensim中的应用

首先，感谢Rickjin的《LDA数学八卦》，能兼具如此数学功底和写作功底的人，着实不多。这是我的个人的思路小结，没有数学推导，如果想仔细研究，推荐大家去阅读那篇八卦，写的很精彩。LDA是NLP领域一个非常重要的非监督算法。一直想仔细研究一番。看完Rickjin的《LDA数学八卦》，不说理解透彻，这个算法前前后后的思考过程还是比较清晰的。首先，why？LDA出现的原因是啥呢？其实是这样，我们人类在

萝卜虫·2020-09-14 19:31

word2vec and fasttext操作

1word2vec训练#coding=utf-8importjiebaimportjieba.possegaspsegimportsmart_openimportxlrdimportcodecsfromgensim.modelsimportWord2Vec

fkyyly·2020-09-14 18:43

windows+python3.6下安装fasttext+fasttext在win上的使用+gensim（fasttext）

转自：windows+python3.6下安装fasttext+fasttext在win上的使用+gensim（fasttext）真是坑了好久，faxttext对win并不是很友好，所以遇到了很多坑，记录下来

weixin_34082177·2020-09-14 01:09

window上安装fasttext

cp36m-win_amd64.whlhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttextfastText实现方法importfastText.FastTextasfffromgensim.modelsimportFastTexthtt

duo'la'mi'ya·2020-09-14 01:32

在 Windows下使用 fastText

gemsim-fastText直接pipinstallgemsimUserWarning:Cextensionnotloaded,trainingwillbeslow.InstallaCcompilerandreinstallgensimforfasttraining

duo'la'mi'ya·2020-09-14 00:27

NLP任务之文本对分类

链接提取码:t2ta流程第一步:基于中文wikipedia训练中文词向量预料地址:链接提取码:ihu4使用gensim库的WikiCorpus，将xml文件转到txt文件fromgensim.corporaimportWikiCorpusinput_path

Muasci·2020-09-13 15:12

Py之gensim：gensim的简介、安装、使用方法之详细攻略

Py之gensim：gensim的简介、安装、使用方法之详细攻略目录gensim的简介gensim的安装gensim的使用方法gensim的简介Gensim是一个用于主题建模、文档索引和大型语料库相似检索的

一个处女座的程序猿·2020-09-12 23:37

推荐频道

Gensim