gensim

人机文本分类特征构造——主题分布

对于模型的构建普遍使用的是gensim的LDA模型，而在这里我们使用了百度的开源工具Familia，下面将进行介绍~##关于FamiliaFamilia开源项目包含文档主题推断工具、语义匹配计算工具以及基于工业级语料训练的三种主题模型
DilicelSten·2020-08-11 20:18

简单NLP分析套路（2）----分词，词频，命名实体识别与关键词抽取

文章大纲中文分词技术评测参考云服务哈工大语言云ltp基于深度学习方法的中文分词一个领域细分的中文分词工具包（北大最新开源）信息检索与关键词提取TF-IDFTEXTRANKword2vectorgensim
shiter·2020-08-11 04:18

LDA闲谈

gensim和sk
Mark Clemens·2020-08-11 02:13

pytorch实现词嵌入的简单模型

importtorchfromtorchimportnnimporttorch.nn.functionalasFimporttorch.optimasoptimimportgensim1.定义句子文本信息
AI_Frank·2020-08-10 20:58

gensim 实践篇

继上篇文章了解了一些模型的基本原理以后，这里来讲讲怎么用gensim，主要参考官方网站的gensim:Tutorials，这篇博文也只是简单记下一点笔记。
张小彬的代码人生·2020-08-09 04:14

Doc2Vec计算句子相似度

就是自己的训练语料“”“date:2018_7_25doc2vec计算句子相似性”“”#coding:utf-8importsysimporttimeimportcsvimportglobimportgensimimportsklearnimportnumpyasnpimportjieba.possegaspsegimportjiebafromgensim.models.doc2ve
诶呀吗_Bug·2020-08-09 01:05

使用gensim的doc2vec生成文档向量

doc2vec是word2vec的延伸，同样使用无监督方法利用上下文对词语和文档向量进行训练。doc2vec的输入是TaggedDocument向量，它包括word_list和tags两部分，word_list是文档的分词列表，如['火箭','是','总冠军',]。tags是文档的标签列表。创建TaggedDocument对象：document=TaggedDocdument(word_list,
theoreoeater·2020-08-09 01:24

【机器学习】使用gensim 的 doc2vec 实现文本相似度检测

环境Python3，gensim，jieba，numpy，pandas原理：文章转成向量，然后在计算两个向量的余弦值。
weixin_30355437·2020-08-08 23:06

doc2vec计算文档相似度

用gensim.models.doc2vec.TaggedDocument()为文档打tag3.创建modelmo
母神·2020-08-08 22:25

gensim similarity计算文档相似度

将原始输入的词转换为ID，词的id表示法简单易用，但是无法预测未登记词，难以挖掘词关系；词汇鸿沟[1]:任意两个词之间是独立的，无法通过词的ID来判断词语之间的关系，无法通过词的id判断词语之间的关系[2]使用gensim
母神·2020-08-08 22:25

词向量转换成句向量的文本相似度计算

#coding:utf-8#In[2]:###读取已训练好的词向量fromgensim.modelsimportword2vecw2v=word2vec.Word2Vec.load('d:/chat_data
shizhengxin123·2020-08-08 21:56

word2vec词向量训练及中文文本相似度计算

官网C语言下载地址：http://word2vec.googlecode.com/svn/trunk/官网Python下载地址：http://radimrehurek.com/gensim/models
qq_34420188·2020-08-08 19:42

机器学习算法Python实现：doc2vec 求句子相似度

#coding:utf-8importsysimportgensimimportsklearnimportnumpyasnpfromgensim.models.doc2vecimportDoc2Vec,
hellozhxy·2020-08-08 16:43

NLP计算文档相似度之doc2vec

importgensimoutp1='D:\python_noweightpathway\TIA\docmodel'file=open(u'D:\python_noweightpathway\TIA\TIAxmmc.txt
FIXLS·2020-08-08 14:17

doc2vec原理及实践

word2vec的原理可以参考这几篇论文：https://arxiv.org/pdf/1310.4546.pdfhttps://arxiv.org/pdf/1301.3781.pdf关于如何使用第三方库gensim
Johnson0722·2020-08-08 12:57

gensim中doc2vec计算文本相似度

最近在做判断两个文本是否是描述的同一件事情，之前是采用gensim中的TF-IDF进行计算的，TF-IDF这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有相同的单词，但两个文档是相似的情况下
飞翔的绵羊·2020-08-08 12:46

Doc2Vec计算句子文档向量、求文本相似度

一、doc2vec求文档向量importsysimportnumpyasnpimportgensimfromgensim.models.doc2vecimportDoc2Vec,LabeledSentenceTaggedDocument
班班爱学习·2020-08-08 11:16

doc2vec方法判断文本相似度

功能：输出两段文本的语义相似度工具：python2gensim:version='3.4.0’清洗、分词词典构造、去数字、去停用词清洗，输入.txt，一条文本占一行，分词、加载分词词典去数字、停用词#!
我满眼的欢喜都是你·2020-08-08 11:48

第六章（1.2）自然语言处理实战——打造属于自己的中文word2vector工具

一、环境python3.6安装anaconda安装jieba安装gensim安装IDEA编辑器安装二、实战演练训练语料source.txt9月12日随着颁奖典礼的结束,我院获得了商委系统运动会系列活动之一
两只橙·2020-08-08 01:50

词向量 简单应用

用的是python中的gensim库，其中有word2vec库可以使用。词向量将词向量化，可以直观的算出两个词的“相关程度”，在大量的信息中抽取相关度较高的内容。直接上代码吧，代码很直观！
Assassin__is__me·2020-08-08 00:06

文本表示：从one-hot到word2vec

文章目录从one-hot到word2vecone-hot向量word2vecCBOW模型Skip-gram模型使用gensim库中的Word2Vec参考资料从one-hot到word2vecone-hot
张酒肉·2020-08-07 11:09

数据挖掘之用户画像

目录:一.构造词向量特征1.1原始数据编码转换1.2生成对应的数据表1.3分词与词性过滤二.构造输入特征2.1使用Gensim库建立word2vec词向量模型2.2加载训练好的word2vec模型，求用户搜索结果的平均向量
弎见·2020-08-06 12:18

gensim库的一些使用

1、gensim.models.word2vec1）训练出模型2）两词的相似度3）某个词的相关词4）好-坏，美-丑，找出某个词的对应词5）从几个词中寻找不合群的词6）导出词向量模型的训练，依据分词后的预料文本
Bingoyear·2020-08-05 18:03

中文维基百科语料上的Word2Vec实验

这里，为了方便大家可以更快地运行gensim中的word2vec模型，我提供了wiki.zh.text.model、wiki.zh.text.model.syn1neg.npy、wiki.zh.text.model.syn0
yangyangrenren·2020-08-05 15:43

在Python上怎么也用不了的 gensim（IDE VScode）

心血来潮，想用gensim分析下一些词句，可是在VSCode下怎么也跑不起来。
Wuerselen·2020-08-05 01:13

Tensorflow疑难杂症

Tensorflow疑难杂症libcublas.so.8.0errorwithtensorflowImportError:Nomodulenamedgensim.modelsKeywordargumentlibstdc
川普王大美刑·2020-08-04 16:53

LDA+可视化

fromnltk.tokenizeimportRegexpTokenizerfromstop_wordsimportget_stop_wordsfromnltk.stem.porterimportPorterStemmerfromgensimimportcorpora
c_cl·2020-08-04 13:43

文本相似度代码

#--encoding:utf-8--"""Createbyon2019/3/30根据tfidf模型的相似度"""importjiebafromgensimimportcorpora,models,similaritiesdoc0
weixin_35389463·2020-08-04 05:24

文本情感分析

文本情感分类—搭建LSTM（深度学习模型）做文本情感分类的代码https://blog.csdn.net/qq_34941023/article/details/77839781基于Gensim的维基百科语料库中文词向量训练
prin1127·2020-08-03 20:07

Python常见warning或error原因及解决方案

importwarningswarnings.simplefilter('ignore')#warnings.filterwarnings(action='ignore',category=UserWarning,module='gensim
Luoove·2020-08-03 19:23

Windows下anaconda安装第三方包的方法小结(tensorflow、gensim为例)

转自：https://www.jb51.net/article/137782.htmanaconda集成了很多科学计算中所需要的包，如numpy，scipy等等，具体查看anaconda中已经预先安装配置好的包有哪些，可以通过cmd命令，输入condalist查看，如下图所示：但是，因为实际需求，我们会需要导入列表中没有的第三方包，如gemsim，在anaconda中，我们可以参考以下步骤安装所需
dujiahei·2020-08-03 16:05

安装gensim出现的错误

令人蛋疼的gensim安装小编最近做毕业设计涉及到NLP自然语言处理领域，在使用python的时候需要下载一个gensim模块，但是在进行pipinstallgensim的时候出现了很多错误。
XU_X·2020-08-02 19:48

记录一下自己在python中安装gensim包的过程

记录一下自己在python中安装gensim包的过程第一步：艰难地更新了pip第二步：费力地装上了gensim第一步：艰难地更新了pip不就是装个包？
雨灵灵·2020-08-02 19:10

调用gensim模块错误：cannot import name 'open' from 'smart-open'

调用gensim模块错误：cannotimportname‘open’from‘smart-open’出现这个问题的主要原因是因为各种模块之间版本不兼容造成的bug。
Leonopteryxw·2020-08-02 18:09

unable to import 'smart_open.gcs', disabling that module 错误解决

python安装gensim==3.5.0版本后，importgensim报错unabletoimport'smart_open.gcs',disablingthatmodule，网上查询后解决办法是pipinstallsmart_open
beyondlpf·2020-08-02 16:08

零基础入门NLP - 基于深度学习的文本分类2

介绍在上一节中,介绍了FastText中的两种词向量方法,CBoW和Skip-gram.这里我们介绍一种类似的方法word2vec,并使用Gensim来训练我们的word2vec.word2vec来自Google
mhxin·2020-08-01 07:30

mac 系统下anaconda安装第三方包出现各种错误如何解决

我的是mac系统，在anaconda使用时，想安装jieba和gensim第三方包，在我的anaconda出错后，我卸载了重装后，第三方包怎么也安装不了，要么是pip不成功，我手动安装后也是引入失败，在
s19610403·2020-08-01 00:53

FastText中文词向量的使用

faxttext中文词向量下载地址调用方法官方文档fromgensim.models.keyedvectorsimportFastTextKeyedVectorswv=FastTextKeyedVectors.load
promisejia·2020-07-31 21:54

基于jieba、gensim.word2vec、LogisticRegression的搜狐新闻文本分类

jieba中文叫做结巴，是一款中文分词工具，官方文档链接：https://github.com/fxsjy/jiebagensim.word2vec中文叫做词向量模型，是是用来文章内容向量化的工具。
潇洒坤·2020-07-31 20:38

炼丹记之在非典型NLP领域使用word2vec构造特征

以下是利用gensim实现word2vec构建特征的代码（now,showuthecode）：#-*-coding:utf-8-*-"""CreatedonThuJu
lanxuxml·2020-07-31 19:18

解决visdom的[WinError 10061] 由于目标计算机积极拒绝，无法连接。

问题描述解决方案问题描述在执行以下代码使用gensim库运行LDA，期望看到困惑度指标随迭代次数变化importgensimfromgensim.models.callbacksimportPerplexityMetricLda
百载文枢江左·2020-07-30 21:03

anaconda prompt安装gensim包错误解析

问题描述：问题1：Collectingbotocore=1.12.215(fromboto3->smart_open>=1.7.0->gensim)ERROR:Couldnotfindaversionthatsatisfiestherequirementbotocore
瑶瑶大帝·2020-07-30 18:06

基于jieba、gensim.word2vec、LogisticRegression的搜狐新闻文本分类

重新编辑：潇洒坤jieba中文叫做结巴，是一款中文分词工具，官方文档链接：https://github.com/fxsjy/jiebagensim.word2vec中文叫做词向量模型，是是用来文章内容向量化的工具
xiaosakun·2020-07-30 05:02

利用jieba,word2vec,LR进行搜狐新闻文本分类

、简介1）jieba中文叫做结巴，是一款中文分词工具，https://github.com/fxsjy/jieba2）word2vec单词向量化工具，https://radimrehurek.com/gensim
weixin_30275415·2020-07-30 02:20

python+word2vec+随机森林 微博文本情感极性分析（一）

项目思路：分词后利用gensim.models.word2vec训练词向量，词向量表示训练集文本，sklearn训练随机森林模型，auc=0.86。
e卵石·2020-07-29 22:22

window10关于anaconda安装gensim和word2vec过程报错问题经验小谈

关于anaconda安装gensim和word2vec过程报错问题经验小谈环境：window1064位python3.7anaconda最新版1、下载安装anaconda，可以去官网下载：https:/
朝荣·2020-07-29 12:38

word2vec生成词向量和字向量

示例参考代码如下：importosimportgensimfromgensim.modelsimportword2vecfromsklearn.decompositionimport
weixin_30613343·2020-07-29 06:43

gensim lda文本无监督分类实现 （有代码）

原理讲解在文本挖掘领域，大量的数据都是非结构化的，很难从信息中直接获取相关和期望的信息，一种文本挖掘的方法：主题模型能够识别在文档里的主题，并且挖掘语料里隐藏信息，并且在主题聚合、从非结构化文本中提取信息、特征选择等场景有广泛的用途。主题可以被定义为“语料库中具有相同词境的词的集合模式”，比如说，主题模型可以将“健康”，“医生”，“医院”集合成“医疗”主题将“农场”，“玉米”，集合成“农业”主题什
总裁余·2020-07-29 05:58

Kaggle课程 | lecture 1 机器学习算法、工具与流程概述

主要内容应用领域常用算法算法之间的联系工具常用scikit-learn,文本分析用gensim，数据处理用Numpy、matplotlib、pandas，深度学习有tensorflow、caffe、keras
茁壮小草·2020-07-29 01:49

wechat工具导出的html类型的聊天记录，做情感分析（上）

frombs4importBeautifulSoupimportos,re,warnings,pickle,jieba,numpyasnp,pandasaspdfromgensim.modelsimportKeyedVectorsimporttraceback
apple-平家物语·2020-07-28 22:08
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他