NLTK

自然语言处理构建文本向量空间

1.百科TF-IDF2.源代码系统环境python3.6scikit-learn==0.19.1#utf-8importosimportmathimportnumpyasnp'''不使用NLTK和Scikits-Learn
Jasonhaven·2020-03-30 21:09

《数据分析实战-托马兹.卓巴斯》读书笔记第9章--自然语言处理NLTK（分析文本、词性标注、主题抽取、文本数据分类）

python数据分析个人学习读书笔记-目录索引第9章描述了多种与分析文本信息流相关的技巧：词性标注、主题抽取以及对文本数据的分类。本章中，会学习以下技巧：·从网络读入原始文本·标记化和标准化·识别词类，处理n-gram，识别命名实体·识别文章主题·识别句子结构·根据评论给影片归类9.1导论根据受控环境中收集的结构化数据建模（比如前一章）还是相对直接的。然而，现实世界中，我们很少处理结构化数据。理解
邀月·2020-03-29 18:00

英语文本处理工具库2 — spaCy

网易云课堂AI工程师（自然语言处理）学习笔记，接上一篇《英文文本处理工具库1—NLTK》。
Littletree_Zou·2020-03-29 09:00

用python处理文本数据

谈起python的自然语言处理，肯定会让人想起NLTK。不过上面这两个任务并不需要NLTK这个库，只是用到了gensim。由于涉及中文，所以还用到了jieba来做中文分词。Ｑ：Gensim是什么东西？
爱装十三的书呆子·2020-03-26 22:45

python35下的NLTK工具的安装和配置

未经允许，不得擅自改动和转载首先要说明的是我的安装环境是win764位，安装了python35官网下载NLTKhttps://pypi.python.org/pypi/nltk我安装的是nltk-3.2.4
双愚·2020-03-26 21:28

说说itertools模块里的combinations

itertools基本是我用过的python内置模块里的topone，超级无敌好用，各种迭代器简直不要太六，仿佛nltk一般神奇。
Ryan_Yang·2020-03-25 23:28

TF-IDF的算法Python实现和简单示例（上）

开发环境：Python3.6.0NLTK3.2（NLTK是一个在自然语言
牛肉咖喱饭·2020-03-17 22:13

【记录】python nltk Stem 和 Lemmatization 的区别

使用方法fromnltk.stem.porterimportPorterStemmerfromnltk.stem.lancasterimportLancasterStemmerfromnltk.stemimportSnowballStemmerfromnltk.stemimportWordNetLemmatizerfromnltk.corpusimportwordnetporter_stemmer
摸鱼真快乐·2020-03-16 23:55

Python nltk 英文词性分析

在NLP任务中，常需要分析单词的词性，借助nltk库的pos_tag方法可以较好地实现。
龙腾Zero·2020-03-16 09:38

Python入门：NLTK（二）POS Tag, Stemming and Lemmatization

常用操作Part-Of-SpeechTaggingandPOSTaggerPOS主要是用于标注词在文本中的成分，NLTK使用如下：>>>importnltk>>>text=nltk.word_tokenize
不务正业的Yuez·2020-03-15 15:44

【火炉炼AI】机器学习034-NLP对文本进行分词

【火炉炼AI】机器学习034-NLP对文本进行分词(本文所使用的Python库和版本号:Python3.6,Numpy1.14,scikit-learn0.19,matplotlib2.2，NLTK3.3
科技老丁哥·2020-03-13 22:37

关系抽取

1、NLTK：http://www.cnblogs.com/createMoMo/archive/2013/05/30/3109464.htmlpython使用nltk提取文本实体间的联系：http:/
Babyzpj·2020-03-01 03:21

GitHub值得关注记录

GitHub关注记录@Date2017.06.02AI深度学习笔记https://github.com/exacity/deeplearningbook-chineseNLTK下载使用的数据https:
voltric·2020-02-28 05:28

数据分析-词频统计-nltk自然语言处理

智能决策上手系列教程索引这一篇我们针对之前爬取的拉勾网职位信息进行词频统计，看一下出现频率最高的关键词是哪些。如果您还没有抓取，请从这里直接下载100个json搁置职位文件密码:tfdv读取数据由于我们之前是吧每个职位都存储为单个的csv文件，所以我们先把它们的details职位要求细节信息读取出来。代码如下，具体说明参照之前的文章。#cell-1定义读取细节的函数defreadDetail(fi
zhyuzh3d·2020-02-27 15:38

NLTK（一）：英文分词分句

一、NLTK的安装如果是python2.x的环境，安装命令如下：sudopipinstallnltk如果是python3.x的环境，安装命令如下：sudopip3installnltk成功地执行了上述命令后
蓝天白云bubble·2020-02-27 12:14

利用auomator从文章中提取单词列表

前提是你安装好了python3以及nltk这个库。
鸭梨山大哎·2020-02-27 11:19

5 分类与标注词汇

importos,re,nltkfromnltk.corpusimportwords,state_union,brown,treebankfromcollectionsimportdefaultdict
shashaslife·2020-02-27 10:46

nltk 自然语言安装包

1）>>>importnltk>>>nltk.download('all',halt_on_error=False)2）安装数据时文件过大python-mnltk.downloader-d/root/nltk_data-uhttps
simba0705·2020-02-25 05:03

tf-idf

计算tf-idf建模有很多种，具体看TF-IDF,nltk包实现tf是使用单词t出现的次数除以字符串长度,源码使用字符串count函数，这个函数有个缺点就是如，单词‘td’在‘tddddtd’会算作2词
14142135623731·2020-02-24 09:56

Machine Learning Skill Set

第四范式机器学习工程师ToolboxC/C++VowpalWabbitMultiBoostShogunJavaMahoutWekaMalletJSATPythonScikit-learnPyBrainnltkTheanoPylearn2MDPOra
luxc·2020-02-23 12:48

中英文文本预处理.md

需要对原始语料进行一些基础的处理,中/英文此处略有不同.注:英文参照了52nlp英文:单词最小化(lower)分词(直接按照空格进行分词,split(""))tokenize化(在完成2后,很多标点符号和单词没有分开,此处使用nltk.work_tokenize
gkiwi·2020-02-23 07:51

秒懂！看机器学习如何净化处理文本

摘要：通过本教程，你可以学到如何开发简单的文本净化工具，如何使用NLTK库中更复杂的方法，以及在使用现代文字表示方法时如何处理文本。
阿里云云栖号·2020-02-22 06:54

Python进阶学习网站

news.htmlpygame（库）是一个免费和开源的Python编程语言库，用于制作多媒体应用程序，如游戏http://scikit-learn.org/stable/机器学习应用http://www.nltk.org
停下浮躁的心·2020-02-21 05:27

作业笔记10_nltk

加载nltk.book中的text，完成以下问题在text2中有多少个词？有多少个不同的词？尝试写一个切片表达式提取text2中最后两个词。
ChZ_CC·2020-02-18 19:39

NLTK中的条件概率分布

产生一个文本，一般要基于一个已有的训练集，或者说是种子，来告诉程序词汇的分布以及用词习惯，下面是一个最为基础的文本产生函数，基于nltk的条件频率分布函数构建：defgenerate_model(cfd
Ryan_Yang·2020-02-18 17:46

NLTK中文词性自动标注

1.说明 学习自然语言处理，一定会参考NLTK,主要是学习它的思路,从设计地角度看看能做什么.其本质就是把语言看成字符串，字符串组，字符串集，寻找其间规律． 
xieyan0811·2020-02-18 10:45

NLTK学习记录2：使用语料库和词汇资源

内置的语料库importnltknltk.corpus.gutenberg.fileids()#Gutenberg语料库的全部文件idemma=nltk.corpus.gutenberg.words('
hitsunbo·2020-02-17 16:37

關於英文預處理

常用的分詞工具在nltk中就有。
阿o醒·2020-02-17 12:53

Mac 下来安装NLTK扩展包报错：SSL: CERTIFICATE_VERIFY_FAILED certificate verify failed(_ssl.c:749)

nltk.download时出错：SSL:CERTIFICATE_VERIFY_FAILEDcertificateverifyfailed(_ssl.c:749)问题描述：在执行nltk.download
阿信花花·2020-02-14 14:51

L4文本预处理

文本预处理timemachine.txt数据下载地址链接：https://pan.baidu.com/s/1RO2OLyTRQZ90HJUW7V7BCQ提取码：bjoxNLTK数据集下载链接：https
rainman999·2020-02-14 14:00

nltk分词器编写-语言模型-循环神经网络相关理解

今天学习的内容是文本预处理、语言模型、循环神经网了的内容，主要是有以下内容：1、分词，索引，建立词语到index的映射2、一种语言模型，两种表示。两种采样方式3、循环神经网络理解，侧重理解，代码为辅助。首先来说说分词的事情，分词，顾名思义，就是将句子分成单个词语，另外去掉所有的标点符号。教程中给出的分词函数较为简单，而且分词后的效果也不太好，这里我写了一个简单的分词器可以供大家参考使用。第一步，移
我有一碗酒可以慰风尘·2020-02-13 15:09

Python3 环境下的 NLTK学习（第一章）

不过有一个小问题就是它的python版本是2.4，而我的是3.6，我用的NLTK也是3以上的版本，所以书中的许多例子都有些不太一样，下面我就罗列一下不太一样的地方。
清都江水郎buaa·2020-02-12 12:18

使用PyTorch训练一个分类器

对于文本，需要原始的Python或者基于loading的Cython，或者NLTK和SpaCy。特别是对于视觉，我们已经创建了一个叫做t
人工智能遇见磐创·2020-02-10 06:39

网易微专业自然语言处理工程师

term•1.2字符串处理•1.3模式匹配与正则表达式•1.4【实战】字符串基本处理与正则表达式文本匹配与替换第2章英文文本处理与解析•2.1英文文本解析任务介绍：分词、去停用词、提取词干等•2.2【实战】NLTK
Ot4Wo08D·2020-02-08 22:21

[Python]使用glob递归的查找所有文件

importnltk.dataimportglobroot_dir="~/data/*/"txt_path_list=glob.glob(root_dir+'*.txt',recursive=True)
VanJordan·2020-02-06 19:24

LittleWhiteOne基本设计

LittleWhiteOne魔改chatterbot框架实现的新版小白~简介core：核心框架，魔改版chatterbotcorpus：英文和中文训练语料nltk_data：需要用到的nltk数据集文本相似度算法
画星星高手·2020-02-01 06:12

【火炉炼AI】机器学习038-NLP创建词袋模型

【火炉炼AI】机器学习038-NLP创建词袋模型(本文所使用的Python库和版本号:Python3.6,Numpy1.14,scikit-learn0.19,matplotlib2.2，NLTK3.3
科技老丁哥·2020-02-01 05:38

Python自然语言处理 第一章 课后习题答案

正文在开始之前首先引入nltk和nltk.bookimportnltkfromnltk.bookimport*○尝试使用Python解释器作为一个计算器，输入表达式，如12/(4+1)。
astoncrane·2020-01-19 22:50

python nltk中使用StanfordNER

nltk就直接pip安装就行。
minlover·2020-01-07 12:41

OpenNLP中关于语言检测的语料训练

当时是先使用过nltk，但是因为nltk主要是外国的语种支持的比较丰富，而且又是python要与项目集成也不太方便，后来找到OpenNLP，发现它相对来说，对于亚洲的语言有一些支持。
f1024557668·2020-01-07 11:58

NLP入门（五）用深度学习实现命名实体识别（NER）

前言  在文章：NLP入门（四）命名实体识别（NER）中，笔者介绍了两个实现命名实体识别的工具——NLTK和StanfordNLP。
山阴少年·2020-01-06 11:09

Python 自然语言处理——nltk库入门之词性标注

nltk自然语言处理库源自宾夕法尼亚大学计算机与信息科学系的计算机语言学课程，在数十名优秀的贡献者的帮助下不断壮大，成为最常用的自然语言处理库之一。
dalalaa·2020-01-05 17:09

Python 兵器谱

Python兵器谱摘要:曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。
hzyido·2020-01-04 19:28

命名实体识别的两种方法

作者|Walker目录一什么是命名实体识别二基于NLTK的命名实体识别三基于Stanford的NER四总结一、什么是命名实体识别？
人工智能遇见磐创·2020-01-04 13:34

Python 兵器谱

Python兵器谱曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。
hzyido·2020-01-03 17:20

Python 网页爬虫、 文本处理科学、计算机器学习、 数据挖掘兵器谱

曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后，第一个作品课程
hzyido·2020-01-01 04:59

NLTK（二）：英文词性标注

将一个句子或者一个段落输入到NLTK相应的模块，该模块可以将这个句子或段落中的每个单词标注上其相应的词性，如动词、名词、形容词、副词等。
蓝天白云bubble·2019-12-31 12:33

GoldMap项目笔记（四）

在Python的各个库中，除了nltk以外，使用起来比较简单的库我找到了两个，一个是针对中文的snownlp，还有一个是textblob。这两个库使用起来都比较简单。
titainium·2019-12-29 09:01

【小实验】“关键字”法完成新闻摘要提取

步骤:给在文章中出现的单词按照算法计算出重要性按照句子中单词的重要性算出句子的总分按照句子的总分给文章中的每个句子排序取出前n个句子作为摘要fromnltk.tokenizeimportsent_tokenize
某米狼·2019-12-28 01:53

NLTK学习记录3：处理原始文本

读入web原始文本fromurllibimportrequesturl="http://www.gutenberg.org/files/2554/2554.txt"response=request.urlopen(url)raw=response.read().decode('utf8')type(raw)#读取本地原始文本f=open('document.txt')raw=f.read()pat
hitsunbo·2019-12-24 13:38
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他