gensim 第4页

文本内关键字关联挖掘&图谱可视化

1、文本内产品提取与关联规则挖掘importpandasaspd#生成相似度百分比importjiebaimportjieba.possegaspsegfromgensimimportcorpora,models

Sundial dream·2023-03-24 07:13

深度理解机器学习1-自然语言处理

·使用NLTK、Gensim和Glove-Python库用于文本预处理以及生成词嵌入。1.2自然语言处理的基础知识·自然语言是一种有机且自然发展而来的书面和口头交流形式。·处理意味着使用计

五百五。·2023-03-23 19:04

gensim #3 结果持久化

gensim主要实例对象都提供了save(filepath)方法，可以直接保存到文件。

平仄_pingze·2023-03-19 07:38

gensim Word2Vec

翻译自2018-11-28word2vec算法包括skip-gram和CBOW模型，使用分层softmax或负抽样TomasMikolovetal:EfficientEstimationofWordRepresentationsinVectorSpace,TomasMikolovetal:DistributedRepresentationsofWordsandPhrasesandtheirComp

雪茸川·2023-03-18 11:41

Microsoft Visual C++ 14.0 or greater is required 环境配置奇奇怪怪

文章目录前言MicrosoftVisualC++14.0orgreaterisrequired.安装gensim出现以下报错解决方法参考博客，感谢他们的帮助前言安装gensim出现报错MicrosoftVisualC

time_thy·2023-03-12 04:29

中文jieba+LDA基本流程

唔最近小白新学了点点中文文本处理来处理一个paperdatabase，总结了一点点流程（超级入门，轻喷）1基本准备所需处理的中文文本用户词典userdict停用词词表stopwords2可能用到的一些包jieba--分词gensim

Silv_Kim·2023-03-10 16:42

没有外网的Linux服务器上安装python的gensim模块

没有连外网的Linux服务器，pipinstallgensim失效。欲哭无泪啊！

布口袋_天晴了·2023-02-18 19:42

调用gensim实现word2vec却出现_pickle.UnpicklingError: invalid load key, ‘7‘.

感觉安装一些包什么的就在劝退。。。果然还是要耐心一点啊不然搞一天还错误百出。model.wv.save_word2vec_format('learning/nlp_learning/result/text8_word2vec.model',binary=False)#保存模型然后直接调用model来实现一些功能就好了，不需要加载模型加载模型仍会报这个错，但是注释掉这行就不会了最近安装pytorch

cc_mlearning·2023-02-07 10:51

秒懂词向量Word2vec的本质

[NLP]秒懂词向量Word2vec的本质你会在本文看到：提纲挈领地讲解word2vec的理论精髓学会用gensim训练词向量，并寻找相似词你不会在本文看到神经网络训练过程的推导hierarchicalsoftmax

元宇宙iwemeta·2023-02-05 23:06

AttributeError: ‘KeyedVectors‘ object has no attribute ‘wv‘

错误原因：Gensim3.8.0到Gensim4.0.0的更新，去除了wv，更改了部分函数名gensim的word2vec示例如下：save和load模块不变：importgensimfromgensimimportmodels

不撸先疯。·2023-02-05 23:33

模糊匹配（学习一）

fromgensimimportcorpora,sim

parcaf·2023-02-05 14:26

word2vec （CBOW、分层softmax、负采样）

本文介绍wordvec的概念语言模型训练的两种模型CBOW+skipgramword2vec优化的两种方法：层次softmax+负采样gensimword2vec默认用的模型和方法未经许可，不要转载。

weixin_30508241·2023-02-05 11:33

条件随机场、CBOW、word2vect、skip-gram、负采样、分层softmax（1）

用gensim学习word2vec摘要:在word2vec原理篇中，我们对word2vec的两种模型CBOW和Skip-Gram，以及两种解法HierarchicalSoftmax和NegativeSampling

ljtyxl·2023-02-05 11:02

AI比赛-推荐系统（一）-新闻推荐02：训练item词向量【每篇新闻文章对应一个词向量】【word2vec：将每个用户点击的新闻文章序列作为输入（类似文本序列），训练出每篇文章的向量表示】【天池】

安装gensim，使用gensim中的word2vec模型#安装gensim!

u013250861·2023-02-04 13:59

Gensim

在Gensim中，Corpus通常是一个可迭代的对象（比如列表）。每一次迭代返回一个可用于表达文本对象的稀疏向量。向量（Vector）：由一组文本特征构成的列表。是一段文本在Gensim中的内部表达。

amyhy·2023-02-03 21:05

完美解决百度aistudio运行gensim的报错：AttributeError: module ‘numpy.random‘ has no attribute ‘default_rng‘

在百度aistudio.baidu.comjupterNotebook中运行gensim出现的如下错误原始代码fromgensimimportcorpora,models,similarities报错-

WikiLeake·2023-02-03 17:36

已有Python安装Anaconda,出现warning、报错及解决办法

写毕设需要用到gensim，查了半天gensim需要装Anaconda对我这种不好好学习的人来说，即使查了半天教程，也处处是坎最后安装成功说一下步骤吧：1、首先去官网下载https://www.anaconda.com

hwruirui·2023-02-02 16:36

Gensim库的使用——Word2vec模型（二）训练自己的模型与训练参数

在实际的应用中你往往不能够直接加载很大的语料库进内存，所以首先来实现一个迭代器来逐行的读取文件：fromgensim.test.utilsimportdatapathfromgensimim

桉夏与猫·2023-02-02 09:56

机器学习（SVM）文本分类

littlefly#@Filename:文本分类#@Createtime:2020/10/319:48#导入必要的包importjiebaimportnumpyasnpimportpandasaspdfromgensim.models.word2vecimportWord2Vecimportjoblibf

little fly·2023-02-01 17:39

doc2vec训练模型zhiwiki_news.doc2vec下载

1.doc2vec训练train_model.pyimportgensim.modelsasgfromgensim.corporaimportWikiCorpusimportloggingfromlangconvimport

韭菜馅饺子^7·2023-01-31 11:13

Doc2Vec模型介绍及使用

Doc2Vec模型Doc2Vec模型摘要背景段落向量PV-DM模型PV-DBOW模型gensim实现Doc2Vec说明参考文献摘要通过本文，你将了解到：Doc2Vec模型是如何产生的Doc2Vec模型细节

walkeao·2023-01-31 11:12

NLP 进行文本摘要的三种策略代码实现和对比：TextRank vs Seq2Seq vs BART

本文将使用Python实现和对比解释NLP中的3种不同文本摘要策略：老式的TextRank（使用gensim）、著名的Seq2Seq（使基于tensorflow）和最前沿的BART（使用Transformers

数据派THU·2023-01-31 11:34

使用word2vec训练词向量

使用gensim进行训练手上的数据集：一共7类，共13,000多个文件，每个文件可以看做一句话，如何训练词向量？

不会心跳·2023-01-31 04:33

挖掘建模②—分类与预测（python实现简单线性关系多项式拟合/回归）

VSCode下Python环境配置配置python基础知识及数据分析工具安装及简单使用(Numpy/Scipy/Matplotlib/Pandas/StatsModels/Scikit-Learn/Keras/Gensim

eeenkidu·2023-01-30 09:36

文本相似度、文本匹配、文本聚类

details/90238282importnumpyasnpimportpandasaspd#1准备工作#graphLR#文本-->分词#分词-->训练词向量#训练词向量-->保存词向量importgensim

stay_foolish12·2023-01-28 14:33

相似文本聚类与调参

之前我在《批量模糊匹配的三种方法》一文中讲述了如何匹配最相似文本的方法，其中使用Gensim进行批量模糊匹配，是使用了稀疏的词向量计算相似度，速度相对前面的方法极快。

小小明-代码实体·2023-01-28 14:29

python gensim 词向量训练笔记

记录词向量训练过程，备忘（系统ubuntu16、python2.7）涵盖内容：pythonrar解压、大文件分解、HDF5文件操作、文本预处理(文本编码、分词处理)、多进程、gensim操作、1.压缩包提取指定后缀文件需要安装

斯坦因和他的狗·2023-01-28 12:14

gensim中的word2vec使用

介绍一句话，GensimGensimGensim中的word2vec类就是用来训练词向量的，这个类实现了词向量训练的两种基本模型skip−gramskip-gramskip−gram和CBOWCBOWCBOW

big_matster·2023-01-28 10:12

Seq2Seq生成古诗

1.加载数据importpandasaspdimportnumpyasnpfromgensim.models.word2vecimportLineSentence,Word2Vecimporttensorflowastfimporttime

CAIC00513·2023-01-27 11:53

使用word2vec预训练模型提取DNA/RNA序列特征向量

https://github.com/alivelxj/m5c-DFRESG/tree/main/m5c/data代码：处理数据集importpandasaspdimportnumpyasnpfromgensim.modelsimportWord2Vecfromgensim.models.word2vecimportLineSentencedefload_data

唐小星小宇宙·2023-01-27 11:53

【自然语言处理】Gensim中的Word2Vec

Gensim中的Word2VecBOW和TF-IDF都只着重于词汇出现在文件中的次数，未考虑语言、文字有上下文的关联，针对上下文的关联，Google研发团队提出了词向量Word2vec，将每个单字改以上下文表达

皮皮要HAPPY·2023-01-26 12:25

gensim提取一个句子的关键词_聊一聊 NLPer 如何做关键词抽取

微信公众号：NLP从入门到放弃有兴趣的去github看更多NLP相关知识总结：https://github.com/DA-southampton/NLP_abilitygithub.com关键词的提取，也可以称之为文本标签提取。比如说，”今天这顿烧烤是真不错啊“，在这句话中，”烧烤“这个词就可以被认为是一个关键词，或者说这个句子的一个标签。这个标签在一定程度上能够表现出这个句子的含义，比如这个”烧

weixin_39755853·2023-01-21 22:05

TextRank：Gensim使用的文本摘要算法

Gensim是Python的一个无监督主题模型与自然语言处理的开源库，它有许多高效易用的自然语言处理函数。其中有一个文本摘要函数summarize，可以从大量的文本中提取重要的信息。

EwanZ·2023-01-19 06:23

‘Word2Vec‘ object has no attribute ‘syn0‘

：'Word2Vec'objecthasnoattribute'syn0'错误代码：print(model.syn0,shape)改正：print(model.wv.vectors.shape)原因：gensim4

kawlyh·2023-01-18 12:15

[语音识别] 文本加标点--BERT预测

文本加标点--训练BLSTMbert4keras==0.5.9#-*-coding:utf-8-*-importosimportreimportsysimporttimeimportjiebaimportgensimimportloggingimportnumpyasnpimportpandasaspdfromtqdmimporttqdmimportmultiprocessingfrombert4

MachineLP·2023-01-17 16:45

Python：电商产品评论数据情感分析，jieba分词，LDA模型

*-2"""3CreatedonMonOct112:13:11201845@author:Luove6"""78importos9importpandasaspd10importjieba11fromgensimimportcorpora

weixin_30267691·2023-01-16 20:26

PySide2、nltk、wordcloud、gensim、sklearn、pyinstaller实现词嵌入可视化、绘制词云图、制作GUI并打包的踩坑总结

其实就是做一个图形界面，主要功能有两个：1用gensim读取模型，搜索相似词，然后用sklearn的TSNE降维，最后用matplotlib画图；2读取一个txt文本，用nltk的tokenizer分词

学物理的兔子·2023-01-16 08:41

python机器学习常用包

目录1、Numpy2、Pandas3、Scikit-learn4、Hyperopt5、LightGBM6、XGBoost7、Gensim8、NLTK9、Pytorch10、Tensorflow11、Keras1

纳米时速·2023-01-14 18:46

挖掘建模⑤—因子分析与python实现

VSCode下Python环境配置配置python基础知识及数据分析工具安装及简单使用(Numpy/Scipy/Matplotlib/Pandas/StatsModels/Scikit-Learn/Keras/Gensim

eeenkidu·2023-01-14 10:00

【自然语言处理】Gensim核心概念

Gensim核心概念1.Document：文档在Gensim中，文档是文本序列类型的对象（在Python3中通常称为str）。

皮皮要HAPPY·2023-01-14 08:28

Python机器学习及实践+从零开始通往Kaggle竞赛之路

以Python编程语言为基础，在不涉及大量数学模型与复杂编程知识的前提下，逐步带领读者熟悉并且掌握当下最流行的机器学习、数据挖掘与自然语言处理工具，如Scikitlearn、NLTK、Pandas、gensim

喜欢安静的程序猿·2023-01-13 13:52

tf-idf的原理及计算

某个词在文章中出现的次数/文章的总次数或TF=某个词在文章中出现的次数/该问出现次数最多的词出现的次数IDF=log(语料库的文档总数/(包含该词的文档数+1))TF-IDF=TF*IDF方法1：基于gensim

会发paper的学渣·2023-01-12 16:24

物以类聚人以群分,通过GensimLda文本聚类构建人工智能个性化推荐系统(Python3.10)

LiuYue'sBlog·2023-01-10 12:12

如何将自建的matlab神经网络的激活函数使用gensim生成simulink模型

要把自定义的matlab激活函数生成到simulink模型中，必须在simulink神经网络库的激活函数子库中添加相应的激活函数如何打开simulink的神经网络库：这里有两种方法，一种是在命令窗口中输出’neural‘就会弹出以下窗口点击TransferFunctions，就可以进入激活函数子模型库可以看到以上界面，这里面包含了simulink自带的激活函数模型。要新建激活函数必须先接触库锁定。

暮雨潇潇11·2023-01-07 21:23

ARM64架构下安装Python package

安装的Pythonpackage包含：（1）tensorflow==1.14.0（2）Numpy（3）scipy（4）scikit-learn（5）gensim（6）Keras（7）h5py本次安装主要是在线安装

xuanningmeng·2023-01-07 07:46

frank_zhaojianbo·2023-01-06 13:48

【Gensim + TSNE使用】word2vec词向量处理中文小说（词嵌入、高维数据降维）

【Gensim+TSNE使用】word2vec词向量处理中文小说本文使用Gensim对小说斗破苍穹进行词嵌入可视化流程数据预处理，将小说数据滤除停止词，分词book_loader()。

FUTUREEEEEE·2023-01-05 10:51

自然语言处理之使用gensim.Word2Vec训练词向量进行词义消歧

自然语言处理之使用gensim.Word2Vec训练词向量进行词义消歧NLP中进行词义消歧的一个非常方便且简单的方法就是训练词向量，通过词向量计算余弦值，来推断某个词在句子中的含义。

猫头丁·2023-01-05 10:51

统计词频python实现gensim_机器学习入门之使用gensim 的 doc2vec 实现文本相似度检测...

本文主要向大家介绍了机器学习入门之使用gensim的doc2vec实现文本相似度检测，通过具体的内容向大家展现，希望对大家学习机器学习入门有所帮助。

BOBO爱吃菠萝·2023-01-05 10:20

主题模型Gensim入门系列之三：主题和变换

系列目录：（1）主题模型Gensim入门系列之一：核心概念（2）主题模型Gensim入门系列之二：语料和向量空间（3）主题模型Gensim入门系列之三：主题和变换（4）主题模型Gensim入门系列之四：

liuzard·2023-01-05 10:49

推荐频道

gensim