jieba分词

gephi生成网络关系图_用python分析小说人物关系（一）——理论篇

1、工具介绍jiebajieba分词，最好用的开源中文分词工具。他最主要的两个功能是分词和关键词的抽取。在这里，我们需要用他的分词功能来提取文本中的人名。
weixin_39552472·2022-11-20 09:18

利用python分析电商_基于Word2Vec+SVM对电商的评论数据进行情感分析

Word2Vec-sentiment基于Word2Vec+SVM对电商的评论数据进行情感分析首先是利用word2vec对正负评论数据进行词向量训练，然后利用SVM分类器对语料进行分类，具体的过程如下：第一步：加载数据、进行jieba
weixin_39890452·2022-11-19 12:02

jieba分词中的特殊字符处理

最近在做jieba分词的时候出现一个有意思的问题往词库里面加了TD-523这个词然后拆分的时候拆成了TD523怀疑是-影响的然后在词库中修改为TD523正确分出来TD523但是如果非要拆分出来TD-523
苍狗白云一瞬间·2022-11-19 10:05

jieba分词，并去除所有标点

#encoding=utf-8importjiebaimportreclassScan(object):def__init__(self,path):self.path=pathdefscan(self):r='[’!"#$%&\'()*+,-./:;?@[\\]^_`{|}~]+'try:f=open(self.path,"r",encoding='UTF-8')exceptExceptiona
iuhiyuh·2022-11-19 10:01

如何高效剔除jieba分词中的标点符号和其他特殊字符

如果使用jieba分词的，那么这两种‘符号’都会混杂在我们的结果中。常用词可以使用停用词字典。
Hello! The world。·2022-11-19 10:31

python27使用jieba分词，去除停用词

#-*-coding:utf-8-*-importjiebaimportjieba.analyseimportsysimportcodecsreload(sys)sys.setdefaultencoding('utf-8')#使用其他编码读取停用词表#stoplist=codecs.open('../../file/stopword.txt','r',encoding='utf8').readli
Yan456jie·2022-11-19 10:59

jieba分词时替换多种中文（英文）符号的方法

比如在中文分词前，将中文逗号、中文句号、中文冒号、中文引号，英文空格替换为空字符。replace方法第6-7行代码实现替换功能。importjiebad={}withopen("sgld.txt","r",encoding="utf-8")asf:lssgld=f.readlines()forwordinlssgld:word=word.replace('，','').replace('。',''
Triumph19·2022-11-19 10:58

【Java】jieba分词对象

结巴分词(java版)jieba-analysis引言首先感谢jieba分词原作者fxsjy，没有他的无私贡献，我们也不会结识到结巴分词.同时也感谢jieba分词java版本的实现团队huaban，他们的努力使得
19Java菜鸟·2022-11-19 10:27

Python分词效果对比

Python分词效果对比jieba分词#encoding=utf-8importjiebajieba.enable_paddle()#启动paddle模式。
菠萝啤YJB·2022-11-16 08:14

机器学习流程

数据集分类将本地数据导入spark连接pyspark创建RDD或DataFrom二数据的基本处理数据去重缺失值处理异常值处理数据集分割数据抽样三特征工程特征提取数据离散化和one-hot编码文本特征提取和jieba
劫径·2022-11-12 11:19

机器学习（9）——特征工程（3）（补充）

1.2.1scikit-learn数据集API介绍1.2.2sklearn数据集的使用1.2.3数据集的划分2特征工程介绍2.1什么是特征工程2.2特征提取2.2.1字典特征提取2.2.2文本特征提取2.2.3jieba
WHJ226·2022-11-08 17:12

机器学习笔记（二）——特征工程

文章目录前言一、数据集概念可用数据集KaggleUCIScikit-learn鸢尾花案例数据集的划分程序数据集下载二、特征抽取介绍字典的特征提取文本特征提取（英文）中文文本特征提取jieba分词处理Tf-idf
哆啦A梦(·2022-11-08 17:42

机器学习 笔记05——特征工程之特征处理:字典特征提取、文本特征提取

目录1、类别型特征的处理—特征编码1.1处理少量特征1.2处理大量的类别特征1.3字典特征提取（特征离散化）⭐1.4文本特征提取（英文+中文）⭐1.4.1英文数据演示1.4.2中文特征提取演示1.4.3jieba
S1406793·2022-11-08 17:41

jieba分词

worldcloud生成词云时，wordcloud默认会以空格或标点为分隔符对目标文本进行分词处理。对于中文文本，分词处理需要由用户来完成。一般步骤是先将文本分词处理，然后以空格拼接，再调用wordcloud库函数。处理中文时还需要指定中文字体。例如，选择了微软雅黑字体（msyh.ttf）作为显示效果，需要将该字体文件与代码存放在同一目录下或在字体文件名前增加完整路径简单使用1、打开自己电脑C:\
python-码博士·2022-11-08 09:05

NLP算法-中文分词工具-Jieba

1、Jieba的特点2、Jieba分词的原理3、Jieba分词的三种模式使用Jieba库进行分词代码示例测试说明demo什么是Jieba?
AlbertOS·2022-10-26 07:17

用QQ聊天记录生成一个词云

本文的分词工具采用的是jieba分词。
清风醉雨·2022-09-06 16:25

Django-----Haystack框架+Jieba分词+Whoosh引擎的内容搜索框

一、安装库安装django-haystack、whoosh、jieba库pipinstalldjango-haystack==2.7.0-ihttps://pypi.tuna.tsinghua.edu.cn/simplepipinstallwhooshpipinstalljieba’二、配置1、注册haystacksettings.py中注册应用haystack：INSTALLED_APPS=[。
The_Caibe·2022-08-30 20:45

Boost文档搜索引擎（简陋的） -- 基于jieba分词和HTTP协议

Boost文档搜索引擎前言项目效果以及GitHub链接整体结构预处理模块枚举路径解析文件索引模块创建正排索引创建倒排索引查询正排/倒排索引搜索模块搜索函数服务器模块前言为了更方便的使用Boost库，于是想到实现一个基于Boost离线文档的搜索引擎，对离线的HTML文件进行分析，、并对查询词进行分词（借用第三方库），然后根据相关性（简陋的相关性公式）进行排序，最终将查询结果用JSON的数据格式进行组
Sincerity·2022-08-17 10:28

C++项目：基于boost在线文档实现的搜索引擎（二）

C++项目：基于boost在线文档实现的搜索引擎（二）索引模块索引模块的描述正排索引与倒排索引的建立正排索引倒排索引jieba分词，正排查找，倒排查找jieba分词索引查找索引的测试上一篇：C++项目：
_ 菜 -∞·2022-08-17 10:53

基于bert训练自己的分词系统

前言在中文分词领域，已经有着很多优秀的工具，例如：jieba分词SnowNLP北京大学PKUse清华大学THULACHanLPFoolNLTK哈工大LTP斯坦福分词器CoreNLPBaiduLac这里，
西西嘛呦·2022-08-17 10:00

利用python绘制简易词云图（使用jieba进行中文分词）

文章目录制作基础的词云图jieba分词后制作词云制作词库画词云图叮制作基础的词云图python中词云可以直接在输入为一大段文字
你大佬来啦·2022-08-13 16:21

Hive：数据进行替换切分后的结果保存为新表，新表进行分词

文章目录1、了解数据2、处理数据2.1替换函数：regexp_replace2.2用split进行切分数据3、jieba分词①Hive数据管理、内外表、安装模式操作②Hive：用SQL对数据进行操作，导入数据
唐樽·2022-08-08 21:49

如何在jieba分词中加自定义词典_Pyspark Word2Vec + jieba 训练词向量流程

摘要:用商品描述为语料库训练商品词向量为例,分享一下用pyspark自带word2vec+jieba分词训练词向量的流程.工具:python,pyspark,jieba,pandas,numpy数据格式
weixin_39779537·2022-08-08 21:18

（scala）spark+jieba分词加载用户自定义词典worker端不起作用的Bug

如果在udf外面加载用户自定义词典，我们的worker端的分词还是按照jieba自带的库进行分词，这样的分词结果肯定是不符合我们的要求（我也是在使用了很长的时间之后才发现这个问题）我们把driver加载自定义词典放到worker去，即可解决这样即可，不过这里需要注意的是如果，你想完全使用自己的词典，你就需要WordDictionary.getInstance().freqs.clear()，但是这
cnjss·2022-08-08 21:46

jieba分词浅析---关键词提取

一.关键词提取的算法选择jieba分词为我们提供了两种算法的选择：TF-IDF算法和TextRank算法1.TF-IDF算法：如果某个词或短语在一篇
火柴丸子·2022-07-28 07:44

python 共现矩阵的实现代码

项目背景本人利用爬虫获取各大博客网站的文章，在进行jieba分词，得到每篇文章的关键词，对这些关键词进行共现矩阵的可视化。什么是共现矩阵比如
·2022-07-14 09:39

关键字提取算法TF-IDF和TextRank（python3）————实现TF-IDF并jieba中的TF-IDF对比，使用jieba中的实现TextRank...

，社会，娱乐等18个频道的新闻数据数据处理参考前一篇文章介绍：介绍了文本关键词提取的原理，tfidf算法和TextRank算法利用sklearn实现tfidf算法手动python实现tfidf算法使用jieba
weixin_30896825·2022-07-11 17:38

用python进行精细中文分句（基于正则表达式），HarvestText：文本挖掘和预处理工具

对于简单的文本这个做法是已经可行了（比如我看到这篇文章里有个简洁的实现方法自然语言处理学习3：中文分句re.split()，jieba分词和词频统计FreqDist_zhuzuwei的博客-CSDN博客
汀、·2022-07-07 14:46

Python第三方库jieba库与中文分词全面详解

目录一、什么是jieba库二、jieba分词原理三、jieba库支持的三种分词模式1.精确模式2.全模式3.搜索引擎模式四、jieba库常用函数五、jieba实操练习一（jieba.lcut）精确模式练习二
·2022-07-07 12:46

Python第三方库：jieba库与中文分词概述（全面详解）

jieba库与中文分词一、什么是jieba库二、jieba分词原理三、jieba库支持的三种分词模式1.精确模式2.全模式3.搜索引擎模式四、jieba库常用函数五、jieba实操练习一（jieba.lcut
Argonaut_·2022-06-11 13:14

特征工程-特征提取

文章目录1.特征提取1.1定义1.2特征提取API2.字典特征提取2.1应用2.2流程分析2.3总结3.文本特征提取3.1应用3.2流程分析3.3jieba分词处理3.4案例分析3.5Tf-idf文本特征提取
落花雨时·2022-06-07 08:29

超全超香，数据分析与数据挖掘最频繁使用代码合集来了

大家好，本文记录的是我日常工作中高频使用的数据分析和机器学习代码片段，喜欢记得收藏、点赞、关注注：完整版代码、资料、技术沟通，文末沟通包含的主要内容：pandas设置可视化jieba分词缺失值处理特征分布数据归一化上下采样回归与分类模型模型评价等常用库
Python学习与数据挖掘·2022-05-27 11:11

使用python统计《三国演义》人物词频，看看罗贯中笔下谁的出场次数最多

思路下载《三国演义》txt文档使用jieba分词算法对文档进行分词处理将分词结果踢除停用词、标点符合、非人名等词频统计、并排序可视化展示问题按照上面的思路进行简单实施时，查看结果会发现几个问题名字三国人物有名
若小鱼·2022-05-27 07:53

ik分词和jieba分词哪个好_中文分词原理理解+jieba分词详解（二）

在写这篇专栏时，我一直在用jieba分词，之前花过一段时间去研究了最新分词的技术，并且做了对比，也有个大致的结论，详细可看我的另一篇专栏IsWordSegmentationNecessaryforDeepLearningofChineseRepresentations
weixin_39940755·2022-05-23 07:18

jieba 同义词_jieba分词详解

本文包括以下内容：1、jieba分词包的安装2、jieba分词的使用教程3、jieba分词的工作原理与工作流程4、jieba分词所涉及到的HMM、TextRank、TF-IDF等算法介绍安装可以直接使用
sxtybzwm·2022-05-23 07:17

中文分词原理及jieba分词

本文首先介绍下中文分词的基本原理，然后介绍下国内比较流行的中文分词工具，如jieba、SnowNLP、THULAC、NLPIR，上述分词工具都已经在github上开源，后续也会附上github链接，以供参考。1.中文分词原理介绍1.1中文分词概述中文分词(ChineseWordSegmentation)指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列
Zero_to_zero1234·2022-05-23 07:13

jieba分词详解和实践

jieba分词是目前最好的python中文分词组件。在讲解jieba分词之前，我们先了解一下中文分词的一些概念：最常用的TF-IDF什么是TF-IDF呢？要分成2个部分来理解。
DawnYao·2022-05-23 07:10

机器学习之自然语言处理——中文分词jieba库详解（代码+原理）

目录文本分类概述文本分类的应用文本分类的挑战文本分类的算法应用文本分类所需知识中文分词神器-jiebajieba分词的三种模式词性标注载入词典（不分词）词典中删除词语（不显示）停用词过滤调整词语的词频关键词提取基于
王小王-123·2022-05-23 07:09

NLP文本关键词提取之TF-IDF模型：基于结巴分词和wordcloud进行疫情文本数据分析

wordcloud进行疫情文本数据分析文章目录TF-IDF模型：基于结巴分词和wordcloud进行疫情文本数据分析一、Tf-idf：关键词提取1、词频TF2、逆文档频率IDF二、结巴分词1、首先导入jieba
天海一直在·2022-05-18 07:07

用python对单一微博文档进行分词——jieba分词（加保留词和停用词）

目前很多我们常用的词汇jieba分词都无法识别，比如“微博热搜”，这里我也列举了一些我们可以加入保留词表中常用的单词：（我本人搜集的是科技相关微博，所以里面很多次都跟科技相关）热搜带
阿丢是丢心心·2022-05-12 10:56

NLP自然语言处理（三）—— 文本处理方法 & 传统NLP与深度学习NLP & NLP聊天机器人原理

文本处理方法①TF-IDF②Jieba分词③Onehot将类别变量转换为数字型变量稀疏④Word2vec将每个单词映射成二维空间的一个点坐标⑤Stopwords停用词传统NLP与深度学习NLP的区别NLP
hxxjxw·2022-05-08 07:41

python统计词频瓦尔登湖_自然语言处理之中文分词器－jieba分词器详解及python实战...

本文详细介绍现在非常流行的且开源的分词器结巴jieba分词器，并使用python实战介绍。jieba分词算法使用了基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能
一级废话选手·2022-04-08 08:45

自然语言处理—基于jieba的中文分词

而Jieba分词是目前中文分词中一个比较好的工具。它包含有以下特性：社区活跃。Jieba在Github上已经有17670的star数目。
1025佳and慧·2022-04-08 08:39

自然语言处理之jieba分词

在所有人类语言中，一句话、一段文本、一篇文章都是有一个个的词组成的。词是包含独立意义的最小文本单元，将长文本拆分成单个独立的词汇的过程叫做分词。分词之后，文本原本的语义将被拆分到在更加精细化的各个独立词汇中，词汇的结构比长文本简单，对于计算机而言，更容易理解和分析，所以，分词往往是自然语言处理的第一步。对于英文文本，句子中的词汇可以通过空格很容易得进行划分，但是在我们中文中则不然，没有明显的划分标
奥辰_·2022-04-08 08:19

自然语言处理--------jieba分词（文章中含有源码）

作者：不良使潜力创作新星华为云享专家博客记录学习的思路，项目和错误,寻找志同道合的朋友如果觉得有帮助记得一键三连┗|｀O′|┛嗷~~#TODOjieba一个自然语言处理工具包，除了jieba还有HanLP和LTKimportjieba#TODO词、句匹配#全模式seg_list=jieba.cut("我喜欢吃酸菜鱼",cut_all=True)print("全模式:"+"/".join(seg_l
不良使·2022-04-08 07:35

python机器学习基础01——sklearn开启

文章目录机器学习开发流程特征工程字符串特征化onehot编码文本特征化jieba分词数值型数据预处理归一化标准化特征选择Filter过滤式（方差过滤）PCA降维WOE&IV编码分箱WOEIV数据集数据集划分数据集接口介绍机器学习开发流程
友培·2022-03-29 15:21

(Python gensim+Word2Vec)实现文本相似度计算

#-*-encoding=utf-8-*-importjiebafromgensim.models.word2vecimportWord2Vec#jieba分词返回列表defjieba_cut(sent
AI小龘·2022-03-01 07:16

jieba分词

简略示例importjieba#精确模式#将句子最精确的切开，适合做文本分析res=jieba.lcut('我开始学习jieba了')print(res)#['我','开始','学习','jieba','了']#全模式#把句子中所有可能成词的都扫描出来，但不能解决歧义res=jieba.lcut('今天真是个好天气',cut_all=True)print(res)#['今天','天真','真是',
是我真的是我·2022-02-15 16:26

python商品评论分析_Python：电商产品评论数据情感分析，jieba分词，LDA模型

1#-*-coding:utf-8-*-2"""3CreatedonMonOct112:13:11201845@author:Luove6"""78importos9importpandasaspd10importjieba11fromgensimimportcorpora,models1213os.chdir('D:\Analyze\PythonMatlab\Python\BookCodes\P
weixin_39661129·2022-02-11 07:07

用Python做数据商品情感分析（商品评论数据情感分析）

用Python做数据商品情感分析（商品评论数据情感分析）现在，我们得到了一些关于XX商品的评论信息的数据，我们需要对这些评论信息的数据进行情感分析；分析步骤机械压缩去词短句过滤情感分析分词处理（jieba
学无止境，好好学习，天天向上！·2022-02-11 07:36
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他