jieba分词

Python计算机二级过考指南

目录基本操作题一.Python基本数据类型考点1：format方法的格式控制考点2：random随机库二.Python组合数据类型考点1：列表考点2：jieba分词Turtle绘图题简单应用题字符串列表元组集合字典文件基本操作题一
N._·2022-12-14 04:18

python读取PDF、word文件及jieba分词，词云分析(Jupyter)

用pdf文件解析器读取文件首先要安装pdfplumber库代码如下：!pipinstallpdfplumber-ihttps://pypi.tuna.tsinghua.edu.cn/simple上面的代码安装可能会报错，这时我们需要输入以下代码：#!pip--default-timeout=100install--userpdfplumber-ihttps://pypi.tuna.tsinghua
月未沉·2022-12-12 18:42

用R语言画文本分析词频词云

设置存储目录setwd("C:/Users/swift/Desktop")读取数据df<-read.csv("工作报告.csv",header=FALSE)#把全部工作报告放在第一行第一列的格子里安装jieba
自律的萱小主·2022-12-12 12:56

Python笔记 之 jieba模块

更详细的解释及举例请查看官方文本：jieba参考文档jieba分词支持四种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来,速度非常快，但是不能解决歧义
一起种梧桐吧·2022-12-12 06:01

jieba分词错误_自然语言处理之jieba分词

英文分词可以使用空格，中文就不同了，一些分词的原理后面再来说，先说下python中常用的jieba这个工具。首先要注意自己在做练习时不要使用jieba.Py命名文件，否则会出现jiebahasnoattributenamedcut…等这些，如果删除了自己创建的jieba.py还有错误是因为没有删除jieba.pyc文件。(1)基本分词函数和用法首先介绍下分词的三种模式：精确模式：适合将句子最精确的
yellkies stay·2022-12-12 06:31

jieba分词的用法及功能

最近需要用到的结巴分词一些常用的函数，记录下1.分词功能jieba.cut(text,cut_all,HMM)，接受三个输入参数:text需要分词的文本；cut_all=True采用全模式，cut_all=False采用精确模式；HMM是否使用HMM模型。jieba.cut_for_search（text,HMM），接受两个输入参数:text需要分词的文本；HMM是否使用HMM模型。jieba.c
一顿三碗大米饭·2022-12-12 06:31

lcut在python_jieba结巴分词使用

jieba分词是一款免费的中文分词工具，既然是免费的，就凑合用吧。和不同领域专业的分词工具，区别在于词库上。
weixin_39889788·2022-12-12 06:01

《自然语言处理》- Jieba分词器的使用

1.jieba中文分词处理importjiebatext="大部分情况下，词汇是我们对句子和文章理解的基础，因此需要一个工具去把完整的文本中分解成粒度更细的词。"cut_result=jieba.cut(text,cut_all=True)#全模式print(cut_result)print("\n全模式:"+"/".join(cut_result))cut_result=jieba.cut(te
兀坐晴窗独饮茶·2022-12-12 06:01

机器学习--文本分析（jieba）（9）

一、jiebajieba分词有三种拆词模式：jieba.cut(cut_all=False)#精确模式适用于文本分析（建模）jieba.cut(cut_all=True)#全模式适合搜索引擎jieba.cut_for_search
太原浪子·2022-12-12 06:30

jieba分词

jieba分词和关键词提取为处理团队从网站爬取的信息，尝试使用Python的jieba库进行关键字提取jieba分词1.jieba.cut()：返回一个迭代器全模式：jieba.cut(string,cut_all
Tyrion49·2022-12-12 06:59

jieba分词功能函数解析

2021SC@SDUSCjieba分词的主要功能有如下几种：jieba.cut：该方法接受三个输入参数：需要分词的字符串;cut_all参数用来控制是否采用全模式；HMM参数用来控制是否适用HMM模型‘
Claire_Mk·2022-12-12 06:29

Python舆情情感分析+爬虫+可视化系统+Django框架+scikit_learn机器学习

一、所用技术Python语言+Django框架+sqlite/mysql数据库+jieba分词+scikit_learn机器学习+情感分析snownlpSnowNLP是一个常用的Python文本分析库，
源码之家·2022-12-11 08:49

【大数据实战】招聘网站职位分析

通过采集招聘网站大数据职位信息、利用数据清洗、数据分析、jieba分词、数据挖掘完成整体项目的开发工作。
闭关修炼——暂退·2022-12-09 11:14

自然语言处理(NLP)任务中常用的分词工具及底层算法支持

本人日常工作中常用的分词工具1、jieba分词2、lac分词3、公司根据自己领域内数据训练并封装的分词工具jimi分词，对外未公开。今天重点聊聊前两个大众比较熟知的分词工具1、jieba分词支
福将～白鹿·2022-12-06 07:29

python安装不了jupyter_解决Jupyter无法导入已安装的 module问题

问题描述：已经用pipinstalljieba安装好jieba分词工具，但是在Jupyter里importjieba运行一直提示ImportError:Nomodulenamed'jieba'好郁闷!
weixin_40001275·2022-12-03 18:34

基于知识图谱的问答系统（protege，jena，jieba分词的结合）

主要的使用的工具（AKA，重点）有protégé（用于知识图谱的建模）、jena数据库（其为一个基于三元组的图数据库，用于完成知识图谱的存储）、Python中的应用程序框架Streamlit与jieba
美剧之神·2022-12-03 09:59

循环神经网络（四）

常见的分词工具很多，比如:jieba分词:https://github.com/fxsjy/jieba。清华大学的分词工具TH
秃顶·2022-12-02 11:37

爬取某著名评分网站影评，利用jieba分词实现简单的影评情感分析，最后由python绘图对结果可视化（三）

github上了，有需要的朋友可以从这里获取*********************************************************************目录第二部分正文（三）、利用jieba
榕城候佳人·2022-11-29 19:08

三元组事件抽取与简单代码实现

系列文章三元组事件抽取与简单代码实现事件抽取技术综述与简单代码实现目录系列文章事件抽取的定义使用jieba分词基于ltp依存句法分析和语义角色标注的事件三元组抽取方法下载pyltp包下载完整模型代码实验结果对比一个简单的示例代码
keep-hungry·2022-11-28 23:27

nlp小白教程：word2vec之数据预处理

每个词之间都是有空格的，所以很容划分为[i,love,natural,language,processing]但是中文的词并没有分开，而是全部连在一起的，例如我爱自然语言处理，我们可以通过分词工具进行切分，我这里使用的jieba
我家大宝最可爱·2022-11-28 18:08

NLP算法-词性标注

词性标注规范Jieba分词中的词性标注测试说明demo什么是词性标注？在自然语言分析中，机器需要模拟理解语言。为了实现这一点，自然语言处理过程中必须在一定程度上能够了解自然语言的规则。
AlbertOS·2022-11-27 03:57

医学病例命名实体识别案例

1、搜集数据（训练数据、验证数据、测试数据还有一个字典（key：命名实体，value：实体类型））:训练数据、验证数据、测试数据都是些病例文本信息，字典是我们要识别出来的命名实体，该字典会添加到，jieba
考文垂·2022-11-26 04:40

python jieba分词教程_Python jieba分词

你需要付出的，只是心底里那点小小的温软，从此坚硬如铁。结巴分词三种模式支持3中分词模式：1.全模式：把句子中的所有可以成词的词语都扫描出来，使用方法：jieba.cut(“字符串”,cut_all=True,HMM=False)2.精确模式：试图将文本最精确的分开，适合于做文本分析。使用方法：jieba.cut(“字符串”,cut_all=False,HMM=True)3.搜索引擎模式：在精确的基
weixin_39623350·2022-11-24 20:11

jieba分词的最详细解读

目录一，什么是jieba（结巴）库？二，jieba库的使用规则三，jieba库具体使用和实例一，什么是jieba（结巴）库？字如其名，结巴库主要用于中文分词，很形象的画面想必一下子就出现在了大家的面前，结巴在说话时一个词一个词从嘴里往外蹦的时候，已经成功地模拟了我们jieba函数的处理过程!！！其次1：Jieba库是优秀的中文分词第三方库，中文文本需要通过分词获得单个的词语。2：Jieba库的分词
<阿睿>·2022-11-24 20:40

jieba分词

一、jieba简介jieba库是一款优秀的Python第三方中文分词库，jieba支持三种分词模式：精确模式、全模式和搜索引擎模式，下面是三种模式的特点。精确模式：试图将语句最精确的切分，不存在冗余数据，适合做文本分析。全模式：将语句中所有可能是词的词语都切分出来，速度很快，但是存在冗余数据。搜索引擎模式：在精确模式的基础上，对长词再次进行切分，提高召回率，适合用于搜索引擎分词。#精确模式jieb
IRON POTATO·2022-11-24 20:40

jieba分词的词性表

注：jieba分词的词性表如下：另附词性标注表如下：1.名词(1个一类，7个二类，5个三类)名词分为以下子类：n名词nr人名nr1汉语姓氏nr2汉语名字nrj日语人名nrf音译人名ns地名nsf音译地名
暴躁的猴子·2022-11-24 20:37

python 结巴(jieba)库 操作使用说明

、jieba库概述jieba是优秀的中文分词第三方库-中文文本需要通过分词获得单个的词语-jieba是优秀的中文分词第三方库，需要额外安装-jieba库提供三种分词模式，最简单只需掌握一个函数(2)、jieba
huangkang1995·2022-11-24 20:07

Python数据分析（4）：jieba分词详解

文章目录jieba分词器1.jieba分词器的分词模式说明（1）精确模式（2）全模式（3）搜索引擎模式（4）Paddle模式2.jieba分词器的基本用法（1）三种模式案例（2）词性标注（3）识别新词：
zdb呀·2022-11-24 20:35

jieba分词+绘制词云图

本文使用jieba分词进行分词，用wordcloud库绘制词云图。
Jy的炼丹炉·2022-11-24 10:07

Spark 3.0 - 5.ML Pipeline 实战之电影影评情感分析

目录一.引言二.Stage1-数据准备1.数据样式2.读取数据3.平均得分与Top54.训练集、测试集划分三.Stage-2-Comment分词1.Tokenizer‍♀️2.JieBa分词‍♀️2.1Jieba
BIT_666·2022-11-24 06:40

python-新闻文本分类详细案例-(数据集见文末链接）

文章目录分析思路所用数据集一、导入相关包二、数据分析1.读取数据2.jieba分词并去除停用词3.TF-IDF4.网格搜索寻最优模型及最优参数5.预测并评估预测效果总结分析思路新闻文本数据包含四类新闻，
～阿秋～·2022-11-22 18:58

文本处理算法_关键词提取和文本摘要算法TextRank详解及实战

TextRank主要有关键词提取和文本摘要两个功能，在Jieba分词里也有集成，在介绍TextRank的原理之前，必
weixin_39640203·2022-11-21 14:44

jieba分词安装，简单粗暴，保证成功

以前用condainstalljieba，一直报错，科学上网也不行。后来自己找到了一个简单粗暴原始的方法。第一步：打开jieba官网，jieba·PyPI，下载安装包，直接解压。得到这个文件夹，如下。第二步：打开pycharm，输入这个代码，打印出pytorch三方包的位置。importtorchprint(torch.__file__)#输出如下路径#C:\Users\xxx\.conda\en
碧绿的麦穗雀·2022-11-21 09:27

Python数据挖掘实例(实时更新)

中合作者挖掘（Python+Hadoop)URL：案例2【机器学习】机器学习综述与“HelloWorld”实战（附带5个实例）URL:案例3新闻分类系统（Python）：爬虫（bs+rq）+数据处理（jieba
_凝夏·2022-11-21 07:11

python绘制词云图（内附背景图，简单项目易上手）

本项目前期用jieba分词然后用wordcloud绘制词云图环境python3.8使用IDE为pycharm文章目录1.需要导入的包2.jieba分词生成词频字典3.绘制词云图1.需要导入的包importnumpyasnpfromPILimportImagefrommatplotlibimportpyplotaspltfromwordcloudimportWordCloudimportpandas
π225·2022-11-21 03:49

python 小说人物分析_用python分析小说人物关系（二）——实战篇

用到的工具jiebajieba分词，最好用的开源中文分词工具。他最主要的两个功能是分词和关键词的抽取。在这里我们需要用他的分词功能来提取文本中的人名。
weixin_39582480·2022-11-20 09:48

gephi生成网络关系图_用python分析小说人物关系（一）——理论篇

1、工具介绍jiebajieba分词，最好用的开源中文分词工具。他最主要的两个功能是分词和关键词的抽取。在这里，我们需要用他的分词功能来提取文本中的人名。
weixin_39552472·2022-11-20 09:18

利用python分析电商_基于Word2Vec+SVM对电商的评论数据进行情感分析

Word2Vec-sentiment基于Word2Vec+SVM对电商的评论数据进行情感分析首先是利用word2vec对正负评论数据进行词向量训练，然后利用SVM分类器对语料进行分类，具体的过程如下：第一步：加载数据、进行jieba
weixin_39890452·2022-11-19 12:02

jieba分词中的特殊字符处理

最近在做jieba分词的时候出现一个有意思的问题往词库里面加了TD-523这个词然后拆分的时候拆成了TD523怀疑是-影响的然后在词库中修改为TD523正确分出来TD523但是如果非要拆分出来TD-523
苍狗白云一瞬间·2022-11-19 10:05

jieba分词，并去除所有标点

#encoding=utf-8importjiebaimportreclassScan(object):def__init__(self,path):self.path=pathdefscan(self):r='[’!"#$%&\'()*+,-./:;?@[\\]^_`{|}~]+'try:f=open(self.path,"r",encoding='UTF-8')exceptExceptiona
iuhiyuh·2022-11-19 10:01

如何高效剔除jieba分词中的标点符号和其他特殊字符

如果使用jieba分词的，那么这两种‘符号’都会混杂在我们的结果中。常用词可以使用停用词字典。
Hello! The world。·2022-11-19 10:31

python27使用jieba分词，去除停用词

#-*-coding:utf-8-*-importjiebaimportjieba.analyseimportsysimportcodecsreload(sys)sys.setdefaultencoding('utf-8')#使用其他编码读取停用词表#stoplist=codecs.open('../../file/stopword.txt','r',encoding='utf8').readli
Yan456jie·2022-11-19 10:59

jieba分词时替换多种中文（英文）符号的方法

比如在中文分词前，将中文逗号、中文句号、中文冒号、中文引号，英文空格替换为空字符。replace方法第6-7行代码实现替换功能。importjiebad={}withopen("sgld.txt","r",encoding="utf-8")asf:lssgld=f.readlines()forwordinlssgld:word=word.replace('，','').replace('。',''
Triumph19·2022-11-19 10:58

【Java】jieba分词对象

结巴分词(java版)jieba-analysis引言首先感谢jieba分词原作者fxsjy，没有他的无私贡献，我们也不会结识到结巴分词.同时也感谢jieba分词java版本的实现团队huaban，他们的努力使得
19Java菜鸟·2022-11-19 10:27

Python分词效果对比

Python分词效果对比jieba分词#encoding=utf-8importjiebajieba.enable_paddle()#启动paddle模式。
菠萝啤YJB·2022-11-16 08:14

机器学习流程

数据集分类将本地数据导入spark连接pyspark创建RDD或DataFrom二数据的基本处理数据去重缺失值处理异常值处理数据集分割数据抽样三特征工程特征提取数据离散化和one-hot编码文本特征提取和jieba
劫径·2022-11-12 11:19

机器学习（9）——特征工程（3）（补充）

1.2.1scikit-learn数据集API介绍1.2.2sklearn数据集的使用1.2.3数据集的划分2特征工程介绍2.1什么是特征工程2.2特征提取2.2.1字典特征提取2.2.2文本特征提取2.2.3jieba
WHJ226·2022-11-08 17:12

机器学习笔记（二）——特征工程

文章目录前言一、数据集概念可用数据集KaggleUCIScikit-learn鸢尾花案例数据集的划分程序数据集下载二、特征抽取介绍字典的特征提取文本特征提取（英文）中文文本特征提取jieba分词处理Tf-idf
哆啦A梦(·2022-11-08 17:42

机器学习 笔记05——特征工程之特征处理:字典特征提取、文本特征提取

目录1、类别型特征的处理—特征编码1.1处理少量特征1.2处理大量的类别特征1.3字典特征提取（特征离散化）⭐1.4文本特征提取（英文+中文）⭐1.4.1英文数据演示1.4.2中文特征提取演示1.4.3jieba
S1406793·2022-11-08 17:41

jieba分词

worldcloud生成词云时，wordcloud默认会以空格或标点为分隔符对目标文本进行分词处理。对于中文文本，分词处理需要由用户来完成。一般步骤是先将文本分词处理，然后以空格拼接，再调用wordcloud库函数。处理中文时还需要指定中文字体。例如，选择了微软雅黑字体（msyh.ttf）作为显示效果，需要将该字体文件与代码存放在同一目录下或在字体文件名前增加完整路径简单使用1、打开自己电脑C:\
python-码博士·2022-11-08 09:05
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他