jieba

Python之jieba库使用自建字典库

一、自建分词字典的原因有时候我们在使用jieba库分词的时候，分词给我们的结果并不是我们需要的准确的结果，如：充电宝变成了充电、宝，所以我们需要建立自己的分词字典库并且“训练”它。
边牧哥哥sos·2023-10-11 09:37

自己动手做词云

#安装jieba,wordcloud,matplotlib,pillow#复制字体并改名#运行文件输出importjiebafromwordcloudimportWordCloudtxt='弱小的人,才习惯
f4ck3sdn·2023-10-10 06:10

jieba库分词并生成词云

importjiebaimportwordcloudstop_words={}withopen('D:/res/stopwords.txt','r',encoding='utf-8')asf:stop_words
装B且挨揍の·2023-10-10 03:13

中文分词原理

jieba原理一、步骤1、基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)2、采用了动态规划查找最大概率路径,找出基于词频的最大切分组合3、对于未登录词，
money666·2023-10-10 02:38

NLP - 数据预处理 - 文本按句子进行切分

-文本按句子进行切分一、前言二、环境配置1、安装nltk库2、下载punkt分句器三、运行程序四、额外补充一、前言  在学习对数据训练的预处理的时候遇到了一个问题，就是如何将文本按句子切分，使用传统的jieba
风吹落叶花飘荡·2023-10-09 01:22

Python大数据之PySpark(七)SparkCore案例

文章目录SparkCore案例PySpark实现SouGou统计分析总结后记SparkCore案例PySpark实现SouGou统计分析jieba分词：pipinstalljieba从哪里下载pypi三种分词模式精确模式
Maynor996·2023-10-08 06:46

文本处理算法_第四天：文本处理流程——分词

以下是我们分词常用的库，具体如图所示：其中我们用的最多的中文分词就是Jieba分词工具。我们直接可以在黑屏终端安装；直接按win+R打开黑屏终端；如图所示：并且在其终端
weixin_39607474·2023-10-05 13:56

Python 应用-jieba分词1：进行批量文本分词

知识点小结os.walk()os.walk()方法用于通过在目录树中游走输出在目录中的文件名，向上或者向下。os.walk()方法是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。os.walk(top[,topdown=True[,οnerrοr=None[,followlinks=False]]])，top --是你所要遍历的目录的地址，返回生成器，每次生成一个三元
艽野尘梦better·2023-10-05 13:23

文本分词、生成tfidf值并降序排序

#coding:utf-8importosimportsysimportjiebafromsklearnimportfeature_extractionfromsklearn.feature_extraction.textimportTfidfTransformerfromsklearn.feature_extraction.textimportCountVectorizersys.path.ap
骑单车的王小二·2023-10-05 13:22

对需求的内容进行jieba分词并按词频排序输出excel文档

读入excel数据结构：importpandasaspdimportjiebadf=pd.read_excel('xuqiufenxi.xls')print(df)#新建一列存放分词结果df['fenci
佛系人僧·2023-10-05 13:50

文本分词排序

文本分词在这个代码的基础上把英语单词作为一类汉语，作为一类然后列出选项1.大小排序2.小大排序3.不排序打印保存代码importjieba#输入文本，让我陪你聊天吧~lines=[]print("请输入多行文本
代码改变社会·2023-10-05 13:49

常用Python中文分词工具

1.jieba分词“结巴”分词，GitHub最受欢迎的分词工具，立志做最好的Python中文分词组件，支持多种分词模式，支持自定义词典特点支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析
逍遥_yjz·2023-10-05 00:27

Python爬取人民网文章标题

最后改弄词云了，无奈╮(╯▽╰)╭爬取网址：传送门：http://www.people.com.cn/爬虫大体思路和方法：大体思路：（1）这个页面相对简单，获取页面标签里的文本和链接就不说了（2）利用jieba
MMddyhc·2023-10-03 17:43

python红楼梦词频统计

python红楼梦词频统计《红楼梦》人物的出场统计涉及对词汇的统计，中文文章的需要分词才能进行词频统计，需要用到jieba库。
锦枫_JF·2023-10-03 17:34

打印优雅文字

开始的代码importosfromPILimportImage,ImageDraw,ImageFontimportjiebadefgenerate_image_with_white_bg(text,font_path
代码改变社会·2023-10-03 17:00

计算机二级Python备考（23年3月）（持续更新中）

目录一、选择题1.在Python语言中：2.知识点二、基本操作题1.jieba库考点知识点：题目1：2.format格式化输出考查知识点：题目1：3random库考察知识点：常考题目1：importrandom
夏天的遥遥漓曦·2023-10-02 16:43

ES基础篇 Docker部署的ES中安装IK分词器

前言之前写了Docker部署Elasticsearch和Kinbana，但Elasticsearch毕竟是国外的，对分词方面明显跟不上我们的需求，所以在很多时候，我们都会安装分词器插件，如IK分词器、JieBa
Genterator·2023-10-02 04:04

python中文情感分析分类和英文情感分析的库和方法汇总

以下是用Python写的一个简单的情感分析分类函数的代码示例：importjiebaimportnumpyasnpdefsentiment_analysis(text):#读取情感词典sentiment_words
朴拙数科·2023-10-02 01:53

jieba.posseg是jieba中的一个组件，它用于对文本进行词性标注

jieba.posseg是Python中的一个分词工具，它可以将文本切割成词语，并且为每个词语标注词性。这个工具可以帮助我们更好地理解和处理自然语言文本。
代码改变社会·2023-10-01 07:30

【深度学习】实验18 自然语言处理

文章目录自然语言处理分词技术1.正向最大匹配算法2.HanLP常用方法3.Jieba常用方法构建词向量1.基于sklearn构建One-hot词向量2.基于gensim构建word2vec词向量附：系列文章自然语言处理自然语言处理
Want595·2023-09-30 16:36

中文分词的词典中的词性标记

词性标记：包含ICTPOS3.0词性标记集、ICTCLAS汉语词性标注集、jieba字典中出现的词性、simhash中可以忽略的部分词性。
沐雪架构师·2023-09-30 11:48

《学术小白学习之路10》论文常见方法：Doc2vec-句向量模型实现

1.数据用于文献的摘要的相似度的计算##导包importpandasaspdimportjiebaimportgensimfromgensim.modelsimportDoc2Vecfromgensim.models.doc2vecimportTaggedDocument
驭风少年君·2023-09-29 17:19

【问题解决】pip安装工具包超时问题解决

在安装jieba时，总是超时。pip.
蜗牛慢行·2023-09-28 23:50

使用Gensim进行文本信息分类

朋友圈信息代码:#-*-coding:utf-8-*-importnumpyasnpfromgensimimportcorpora,models,similaritiesimporttimeimportjiebadefload_stopword
后海里的过桥·2023-09-28 00:23

MOOC例题

BatchInstall.pybatch批量install安装importos#lib库文件创建一个集合libs={'numpy','matplotlib','pillow','sklearn','requests','jieba
Emily_ASL·2023-09-27 10:48

【python】pytorch包（第五章）RNN循环神经网络 【待填坑】

常用工具jieba分词清华大学的分词工具THULAC
GoesM·2023-09-27 09:27

学习Python的第三天

实现词云的绘制步骤：1.绘制词云的形状fromwordcloudimportWordCloudimportjiebaimportimageiomask=imageio.imread('.
小頴子·2023-09-26 13:59

Python爬虫爬取豆瓣电影短评（爬虫入门，Scrapy框架，Xpath解析网站，jieba分词）

声明：以下内容仅供学习参考，禁止用于任何商业用途很久之前就想学爬虫了，但是一直没机会，这次终于有机会了主要参考了《疯狂python讲义》的最后一章首先安装Scrapy：pipinstallscrapy然后创建爬虫项目：scrapystartproject项目名然后项目里面大概是长这样的：__pycache__是python缓存，可以不管scrapy.cfg是scrapy框架自带的配置文件，这个项目
cqbzcsq·2023-09-26 08:15

豆瓣评分预测

中文分词中文分词包jieba，用jieba对原始文本做分词。
漱衣仁止·2023-09-25 18:45

常见分词算法综述

最短路径分词算法：2.1基于dijkstra算法求最短路径：2.2N-dijkstra算法求最短路径：2.3.基于n-grammodel的分词算法：二、基于字的分词算法生成式模型分词算法HMM分词-以jieba
无枒·2023-09-25 12:48

LDA算法并提取这份数据集中各个文档的主题

代码如下：importjieba
wangxiaojie6688·2023-09-24 20:50

如何通过 SCF 与自然语言处理为网站赋能！

但是每次都需要我们自己去填写，比较繁琐，本文将会分享一种方法：通过Python的jieba和snownlp
Python资深程序员·2023-09-23 22:10

【编程实践】利用python进行绘制简单的词云图片

先看简单的效果图：//绘制词云#=============================================#主要过程：#1.导入所需要用到的库，worldcloud，jieba，imageio
狮智先生·2023-09-22 10:49

PyTrch深度学习简明实战36 - 一维卷积神经网络

数据集:某外卖平台收集的用户评价，正向4000条，负向约8000条##字段说明[]image.png安装jieba和pandaspipinstalljieba-ihttps://pypi.doubanio.com
薛东弗斯·2023-09-22 03:24

Python计算机二级基本操作题和简单应用题

基本操作题1-13这里使用jieba.lcut()分割后默认使用的换行符，会一行一行的分开，需要加入end=''强行变成一行输出。简单应用题1-101.2，3.
talentsta·2023-09-21 20:47

node-pre-gyp ERR! install request to https://github.com/xxx、Cannot read property ‘match‘ of undefine

installrequesttohttps://github.com/yanyiwu/nodejieba/releases/download/v2.5.2/nodejieba-v2.5.2-node-v83
前端千帆·2023-09-21 15:30

用了那么多在线词云，终于发现了超好用的词云工具！

在python中，wordcloud和jieba等库都可以分析中文文本解析词频，但对于缺乏代码基础的人员来说，在线词云就成为了不可或缺的工具，例如在分析售后原因，分析社交媒体评论等方面。
程what·2023-09-21 11:29

R语言爬虫豆瓣高评分电影（喝最烈的酒，熬最深的夜，吃最好的胃药，敷最贵的面膜）

豆瓣电影TOP250抓取下了那么多包没用多少东西，看着黑人，反正pradaprada的赶紧逃，赶紧的，你会炸的这里面主要用到R/Rstudio里面的RCurl、XML、wordcloud、stringr、jiebaR
LEEBELOVED·2023-09-21 01:44

Python——对每条评论（每个单元格文本）进行词频统计

C列为统计结果#-*-coding:utf-8-*-"""CreatedonFriAug3108:57:452018@author:Shirley"""importxlrdimportjiebafromcollectionsimportdefaultdictfromopenpyxlimportload_workbookstopwords
大力SAMA·2023-09-20 09:47

文本预处理，语言模型，循环神经网络

本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型用现有工具进行分词spaCy，NLTK,jieba
头号大眼睛·2023-09-19 18:26

机器学习第七课--情感分析系统

常用的分词工具#encoding=utf-8importjieba#基于jieba的分词参考:https://github.com/fxsjy/jiebaseg_list=jieba.cut("贪心学院是国内最专业的
好人cc·2023-09-19 08:58

python爬虫爬取电影数据并做可视化

请求库和保存库importpandasaspd#读取csv文件以及操作数据fromlxmlimportetree#解析html库frompyecharts.chartsimport*#可视化库注意：后续用到分词库jieba
BUG再也不见·2023-09-19 05:22

WorldCloud

一、生成词云图片testCloud.pyimportjieba#分词frommatplotlibimportpyplotasplt#绘图，数据可视化fromwordcloudimportWordCloud
凹凸曼说我是怪兽y·2023-09-18 20:01

语义通信理论必看论文：Towards a Theory of Semantic Communication

目录论文简介文章介绍语义通信的模型语义熵提出三个定理知识点论文简介作者JieBaoPrithwishBasuMikeDeanCraigPartridge发表期刊or会议《IEEENetworkScienceWorkshop
一去不复返的通信er·2023-09-17 20:05

一个Python里最好的分词库!

在Python中，最好用的中文分词库是jieba。用“结巴”给一个中文分词库命名，非常生动形象，同时还带有一种程序员式的幽默感。最好的Python中文分词组件“结巴”中文分词
菜鸟学Python·2023-09-17 14:47

jieba.load_userdict报错：FileNotFoundError: [Errno 2] No such file or directory

一、报错原因分析一开始我以为是文件路径有问题，绝对路径相对路径都试了一遍，还是不行；二是怀疑文件名不合适，于是修改了文件名至不含任何中文字符或特殊字符，还是不行。二、最终解决办法其实是文件名后缀问题，有可能去掉.txt或者加上.txt就可以了。很简单的问题，希望下次遇到不会再浪费时间。
高考坐后排的边牧·2023-09-17 10:17

TAGS与分类

分类树形结构TAGS强调更贴近使用用Python,jieba分词，通过TF-IDF算法，提取文章中的高频词，选取N个作为TAGS，并写回数据库。如何用Python做中文分词？
普笛·2023-09-17 10:58

Python安装jieba的方法

作者：rookiequ安装jieba的方法方法一：一个博主写的，通过镜像下载，瞬间下载好，不要太爽。
codequ·2023-09-15 21:27

结巴分词jieba添加自定义词典

然后使用jieba.load_userdict
JECK_ケーキ·2023-09-13 15:11

学习python的第三天

importjieba1.读取小说内容withopen('.
睡睡小悠菜·2023-09-13 12:42
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他