corpus

自然语言处理 gensim

基本上分为以下三个步骤CorporaandVectorSpaces//词向量和向量空间TopicsandTransformations//主题变化SimilarityQueries//相似性查询二、一个例子#step1corpus
水野与小太郎·2019-03-20 23:17

对corpus数据处理的认识

下面是代码：fromsklearnimportmodel_selection,preprocessing,linear_model,naive_bayes,metrics,svmfromsklearn.feature_extraction.textimportTfidfVectorizer,CountVectorizerfromsklearnimportdecomposition,ensemble
csdn_LYY·2019-02-25 12:18

使用GloVe训练中文语料

0.安装gcc在运行前务必确保ubuntu下有gccgcc--version#如果没有则安装：yuminstallgcc1.准备语料准备好语料并进行分词，保存glove_corpus文件2.下载源码https
imsuhxz·2019-02-20 15:08

常见的英文文本处理步骤

常见的英文文本处理流程中都包含哪些步骤1.导入相应的类库importnltkfromnltkimportword_tokenize,sent_tokenize2.导入数据corpus=open(‘数据路径
Dulpee·2019-02-18 03:16

常见的英文文本处理步骤

常见的英文文本处理流程中都包含哪些步骤1.导入相应的类库importnltkfromnltkimportword_tokenize,sent_tokenize2.导入数据corpus=open(‘数据路径
Dulpee·2019-02-18 03:16

python 读写txt文件乱码问题

/corpus.txt',mode='r')asf:解决方法很简单，为其指定编码就行了withopen('../corpus.tx
dreamjay1997·2019-01-31 11:35

搭建一个简单的问答系统（v2.0）

下面讲解一下具体的代码：第一部分：读取文件，并把内容分别写到两个list里（一个list对应问题集，另一个list对应答案集）importjsondefread_corpus():"""读取给定的语料库
简单随风·2019-01-30 10:33

spark集群使用hanlp进行分布式分词操作说明

以下为全文：分两步：第一步：实现hankcs.hanlp/corpus.io.IIOAdapterpublicclassHadoopFileIoAdapterimplementsIIOAdapter{2.3
adnb34g·2019-01-21 10:00

spark集群使用hanlp进行分布式分词操作说明

以下为全文：分两步：第一步：实现hankcs.hanlp/corpus.io.IIOAdapterpublicclassHadoopFileIoAdapterimplementsIIOAdapter{2.3
adnb34g·2019-01-21 10:00

deepwalk配置与使用

github.com/phanein/deepwalk数据集的定义http://leitang.net/social_dimension.html核心代码walks=graph.build_deepwalk_corpus
LJ_Huang·2018-12-18 16:34

Python 最大概率法进行汉语切分的方法

2切分算法中的语言模型可以采用n-gram语言模型，要求n>1，并至少采用一种平滑方法；代码：废话不说，代码是最好的语言importreimportmathMAX_SPLITLEN=4#最大切分长度corpus_lib
qijingpei·2018-12-14 16:31

matplotlib （积累ing）

frommatplotlibimportpyplotasplt%matplotlibinline#Documentlengths.lens=[len(doc)fordocinwmd_corpus]#Plot.plt.rc
曹大叔今天读了几篇paper·2018-12-05 19:56

Gensim

在Gensim中，Corpus通常是一个可迭代的对象，每一次迭代返回一个用于
Python之简·2018-11-22 20:22

Tencent AI Lab Embedding Corpus使用-提取目标词汇词向量+余弦相似度计算

TencentAILabEmbeddingCorpusforChineseWordsandPhrases为超过800万个中文单词和词语(包括标点符号)提供200维矢量表示，这些向量捕捉了中文单词和词语的语义含义，可广泛应用于许多中下游的中文处理任务。Tencent_AILab_ChineseEmbedding.txt(开源下载文件)第一行显示嵌入总数和尺寸大小，下面每一行(第一列表示中文单词或词语
扯20080808·2018-11-01 20:10

自然语言处理——4. 语料库与语言知识库

基本概念1.语料库语料库(corpus)就是存放语言材料的仓库(语言数据库)。
SpareNoEfforts·2018-10-03 10:14

基于sklearn库，搭建一个简单的问答系统

#读取文件defread_corpus(file):withopen(file)asf:list=[]lines=f.readlines()foriinlines:list.append(i)returnlistquestions
简单随风·2018-09-30 14:21

中文机器翻译数据集

DatasetWMT2018AIchallenger(英中翻译规模最大的口语领域英中双语对照数据集)UM-Corpus:ALargeEnglish-ChineseParallelCorpusOpenSubtitles2016MultiUNMethodsAIChallenger2017
Quincy_baf0·2018-09-27 15:26

逆向最大匹配算法之python实现

/corpus/WordList.txt','r',encoding='utf8')dic={}while1:line=f1.readline()iflen(line)==0:breakterm=line.strip
崔昕阳·2018-08-31 10:50

NLP&Python笔记——语料库

NLTK包含了许多语料库：（1）古滕堡语料库（2）网络和聊天文本（3）布朗语料库（4）路透社语料库（5）就职演讲语料库（6）标注文本语料库词汇列表语料库（1）词汇列表：nltk.corpus.words.words
_Yucen·2018-07-19 21:15

python 百度AI语音识别简单示例

请应用百度云提供的语音相关API完成以下内容：1.自行注册相关账号，并建立应用；2.阅读相关语音解析文字和文字合成语音的相关API文档；3.解析“16k-23850.amr”语音文件内容，并将返回值“{'corpus_no
NightChenRight·2018-07-01 09:41

gensim使用方法以及例子---分批处理得到的dict和corpus（重要，大批量文本处理）

转载：https://blog.csdn.net/u014595019/article/details/52218249gensim是一个python的自然语言处理库，能够将文档根据TF-IDF,LDA,LSI等模型转化成向量模式，以便进行进一步的处理。此外，gensim还实现了word2vec功能，能够将单词转化为词向量。关于词向量的知识可以看我之前的文章关于gensim的使用方法，我是根据官网
m0_37870649·2018-06-29 19:02

第01课：中文自然语言处理的完整流程

我们把一个文本集合称为语料库（Corpus），当有几个这样的文本集合的时候，我们称之为语料库集合(Corpora)。
凌洪涛·2018-06-26 13:07

sklearn 生成中文词向量与tfidf

借用官网例子：fromsklearn.feature_extraction.textimportCountVectorizer,TfidfTransformervecizer=CountVectorizer()corpus
Eadon999·2018-06-12 21:54

Label 的分布统计

1、文本形式：Label\tXXXXXXXa.通过awk进行分隔，获得Labelawk-F'\t''{print$1;}'corpus.txt>>awk_log.txtb.编写ak.awk#!
Cincinnati_De·2018-05-28 13:38

Label 的分布统计

1、文本形式：Label\tXXXXXXXa.通过awk进行分隔，获得Labelawk-F'\t''{print$1;}'corpus.txt>>awk_log.txtb.编写ak.awk#!
Cincinnati_De·2018-05-28 13:38

自然语言处理爬过的坑：基于爬虫抓取的语料，使用gensim建设dictionary、corpus、tfidf_model并保存成文件

#生成字典和向量语料dictionary=corpora.Dictionary([corpora_documents])#print(dictionary)#print'dfs:',dictionary.dfs#字典词频，{单词id，在多少文档中出现}print'num_docs:',dictionary.num_docs#文档数目print'num_pos:',dictionary.num_po
腾阳·2018-05-26 08:20

NLP自然语言处理库系列教程——gensim库

-LSI-LDA-HDP-DTM-DIM-TF-IDF-word2vec、paragraph2vec基本概念语料（Corpus
数据架构师·2018-05-25 16:28

NLTK（语料库）

先看一个例子，查看古腾堡语料库包含的文本名称：importnltknltk.corpus.gutenberg.fileids()Out[82]:[u'austen-emma.txt',u'austen-persuasion.txt
csdn_lzw·2018-05-21 22:35

Python 自然语言处理（基于Gensim）

语料（Corpus）
Xy-Huang·2018-05-15 17:56

今天总结

importgensimsentences=word2vec.Text8Corpus(u'corpus.txt')#加载语料model=word2vec.Word2Vec(sentences,min_count
hehesakura·2018-04-19 18:18

word2vec中CBOW和Skip-Gram训练模型的原理

转载于CBOW模型和Skip-Gram模型前言word2vec如何将corpus（语料库）的one-hot向量（模型的输入）转换成低维词向量（模型的中间产物，更具体来说是输入权重矩阵），真真切切感受到向量的变化
dxlcnm·2018-04-12 18:40

RNN系列之三 RNN简单应用

建立语言模型所采用的训练集是一个大型的语料库（Corpus）。建立过程中，需要先建立一个字典，之后将语料库中每个词表示为对应的one-hot向量。
qq_28437273·2018-03-22 16:59

文本表示(Text Representation)之词集模型(SOW)&词袋模型(BOW)&TF-IDF模型

转载请注明来源http://blog.csdn.net/Recall_Tomorrow/article/details/79488639欢迎大家查看这些模型简单实现的代码……对于一个包含若干个文档的语料库(Corpus
mlee1018·2018-03-08 20:04

python中gensim库详解

LSI-LDA-HDP-DTM-DIM-TF-IDF-word2vec、paragraph2vec.二、训练模型1、训练#encoding=utf-8fromgensim.modelsimportword2vecsentences=word2vec.Text8Corpus
AI东海·2018-01-19 16:08

随机森林针对中文文本分类

改编自博客：http://blog.csdn.net/github_36326955/article/details/54891204做个笔记代码按照1234的顺序进行即可：1.py(corpus_segment.py
李固言·2018-01-14 16:27

使用中文维基百科进行GloVe实验

处理之后得到文件：corpus.zhwiki.segwithb.txt2.实验2.1GloVe获取GloVe，命令：wgethttp://www-nlp.stanford.edu/software/GloVe
David_Hernandez·2017-10-20 18:34

Python系列（4）-- Python 正则表达式匹配字符串替换、格式修改

CreatedonMonSep2520:47:332017@author:Don"""importref=open("84.txt",'rb')r=open("84_result.txt","w+")corpus
bllddee·2017-09-27 22:08

SVM针对中文文本分类

改编自博客：http://blog.csdn.net/github_36326955/article/details/54891204做个笔记代码按照1234的顺序进行即可：1.py(corpus_segment.py
俞驰的博客·2017-09-13 16:09

朴素贝叶斯(NaiveBayes)针对小数据集中文文本分类预测

转自相国大人的博客，http://blog.csdn.net/github_36326955/article/details/54891204做个笔记代码按照1234的顺序进行即可：1.py(corpus_segment.py
俞驰的博客·2017-09-13 14:04

Python数据挖掘－文本挖掘

（一）语料库（Corpus）在python中，如何根据以往的文档文件搭建一个语料库？1.什么是语料库语料库是我们要分析的所
朱元禄·2017-09-13 11:19

Spark2.1特征处理:提取/转换/选择

定义：t表示由一个单词，d表示一个文档，D表示多个文档构成的语料库（corpus），词频TF（t，d）表示某一个给定的单
bitcarmanlee·2017-09-06 17:17

pyLDAvis基于gensim的LDA模型可视化

importgensimfromgensimimportmodelsimportpyLDAvis.gensimdeflda_vis():dictionary=gensim.corpora.Dictionary.load('lda.dict')corpus
代码猴·2017-09-05 14:03

Gensim-TFIDF,LDA,LSI实战

介绍Gensim能很方便的分析文本，包括了TFIDF,LDA,LSA,DP等文本分析方法词典与词库首先将文本处理生成dictionary和corpus。
yuquanle·2017-08-07 11:39

nltk中文语料库使用总结

.*\.txt"#匹配corpus_r
chonghlyln·2017-07-28 16:49

nltk主要应用总结

获取和处理语料库nltk.corpus语料库和词典的标准化接口字符串处理nltk.tokenize,nltk.stem分词，句子分解提取主干搭配发现nltk.collocationst-检验，卡方，
chonghlyln·2017-07-27 15:23

TF-IDF特征提取 用sklearn提取tfidf特征

名词的解释：corpus：指所有documents的集合documents：词语的有序排列。可以是一篇文章、一个句子之类。
钱哲琦·2017-07-09 20:04

文本进行分类

数据格式：样本+样本标签importjiebabasedir="/home/li/corpus/news/"dir_list=['affairs','c
bbzz2·2017-05-04 14:29

nltk之使用正则表达式检测词组搭配

importre wordlist=[wforwinnltk.corpus.words.words('en')ifw.islower()] print([w
Dzjian_·2017-04-10 00:00

nltk之使用正则表达式检测词组搭配

importre wordlist=[wforwinnltk.corpus.words.words('en')ifw.islower()] print([w
Dzjian_·2017-04-10 00:00

语料库收集

美国当代英语语料库CorpusofContemporaryAmericanEnglish(COCA)柯林斯语料库http://www.collins.co.uk/Corpus/CorpusSearch.aspx
梦无痕123·2017-03-28 16:18
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他