jieba

使用Langchain+GPT+向量数据库chromadb 来创建文档对话机器人

chromadb来创建文档对话机器人一.效果图如下：二.安装包pipinstalllangchainpipinstallchromadbpipinstallunstructuredpipinstalljieba
g3230863·2023-09-13 10:26

NLP案例

基础案例1：运用朴素贝叶斯进行分类，使用到了停用词：importnumpyasnpimportjiebaimportmatplotlib.pyplotaspltfromsklearn.feature_extraction.textimportCountVectorizerfromsklearn.naive_bayesimportMultinomialNB
枭玉龙·2023-09-12 20:36

使用jieba 分词拆分文本的逻辑和逻辑对象并制作搜索引擎

jieba中采用了《现代汉语词性标记》标准来标记汉语的词性，使用大量的中文细致地对汉语的各个词性进行分类，详细的列表可参考官方文档：jieba词性标注下面是jieba支持的词性名字及其代号的对照表：名称代号名称代号名称代号名称代号名词
东方佑·2023-09-11 22:05

机器学习面试：tfidf&BM25的理解与应用

一个直接的想法是对整篇文章进行分词，统计每个词出现的次数按照次数进行排序，出现次数越多的词重要性越高importjiebafromcollect
我家大宝最可爱·2023-09-11 03:31

python-jieba库

jieba库，python提供的中文分词函数库的第三方库，它可以将一段中文文本分割成中文词语序列。
蔷莫·2023-09-10 01:59

python词云图生成简单实用

首先：导入主要模块jieba、matplotlib、wordcloud、numpy、PILimportjiebafrommatplotlibimportpyplotaspltfromwordcloudimportWordCloudfromPILimportImagefrommatplotlibimportcolorsimportnumpyasnp
he盒子nu·2023-09-10 01:48

Python 统一地铁线路名称

importjieba#分词fromfnmatchimpor
lxx199603·2023-09-09 07:29

Python 自然语言处理 文本分类 地铁方面留言文本

importnumpyasnpimportpandasaspdimportjieba#分词importre#正则fromfnmatchimportfnmatch#通配符fromsklearn.preprocessingimportLabelEncoderfromsklearn.feature_extraction.textimpo
lxx199603·2023-09-09 07:25

ES-Docker部署的ES中安装IK分词器

前言之前写了Docker部署Elasticsearch和Kinbana，但Elasticsearch毕竟是国外的，对分词方面明显跟不上我们的需求，所以在很多时候，我们都会安装分词器插件，如IK分词器、JieBa
小松猿·2023-09-08 09:40

[Python]第三方库

NumPy:N维数据表示和运算pipinstallnumpyMatplotlib：二维数据可视化PIL：图像处理Scikit-Learn:机器学习和数据挖掘Requests:HTTP协议访问及网络爬虫Jieba
居家龙龙·2023-09-08 02:30

使用python生成文字视频

定时显示几个词语；好几次刷到这些视频，想到应该可以使用python生成；基本原理1、读取文本获取分词或分段列表2、通过分词列表生成文字素材视频列表3、通过文字素材生成视频4、视频合并音频用到的库：分词库jieba
liangblog·2023-09-07 11:00

Rasa 3.1 机器学习三中文模型训练，预言结果无法命中默认回复配置

action_dafault_fallback2、config.ymlrecipe:default.v1assistant_id:20230829-135604-instant-radixlanguage:zhpipeline:-name:JiebaTokenizer
山不在高_有仙则灵·2023-09-07 05:25

python学习之绘制词云

使用第三方jieba库来分隔中文。importjiebaw=jieba.lc
小张是个测试·2023-09-07 00:08

利用python进行QQ聊天分析

importreimportjiebaimportpandasaspdimportnumpyasnpfromdatetimeimportdatetimefromsnownlpimportSnowNLPfromcollectionsimportCounterfromwordcloudimportWordCloudimportmatplotlib.pyplotaspltfromdatetimeimpo
Tokeii·2023-09-06 23:23

文本分析-自定义词典

在做本文分析时，由于有较多的专用术语和名词，在jieba词库是没有的词，需要添加自定义词典，保证更高的正确率。
starfly·2023-09-06 13:11

Python学习的第三天

三国TOP10人物分析importjiebafromwordcloudimportWordCloud#1.读取小说内容withopen('.
Asano_·2023-09-06 10:40

python-wordcloud词云

导入模块fromwordcloudimportWordCloudimportjiebaimportimageioimportmatplotlib.pyplotaspltfromPILimportImageGrabimportnumpyasnpwordcloud
蔷莫·2023-09-05 06:08

python中文分词基础操作：jieba分词库(基础知识+实例)

jieba【中文分词操作】目录jieba【中文分词操作】jieba库是什么jieba库的安装和导入jieba库的使用1）精确模式：2）全模式：3）搜索引擎模式：4）jieba库常用函数：————————
乌拉的故事·2023-09-05 05:36

自然语言处理：提取长文本进行文本主要内容（文本意思）概括 （两种方法，但效果都一般）

本文主要针对长文本进行文本提取和中心思想概括，原文档放在了附件里面：-----------------------------------方法一：jieba分词提取文本（句子赋分法）----------
mnwl12_0·2023-09-04 22:31

jieba基于 TF-IDF 算法的关键词抽取-运行样例

代码示例（关键词提取）https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py需要将这个文件保存下来，然后在cmd中运行，这样就可以运行成功了
正在看书的Sophie·2023-09-04 03:09

如何分析识别文章/内容中高频词和关键词？

theme:orange要分析一篇文章的高频词和关键词，可以使用Python中的nltk库和collections库或者jieba库来实现，本篇文章介绍基于两种库分别实现分析内容中的高频词和关键词。
青Cheng序员石头·2023-09-03 06:34

怎么从0到1创建一个PHP框架-1？

框架地址：https://github.com/yijiebaiyi/fast_framework整体思路开发一款web框架，首先要考虑这个框架的整体运行架构，然后具体到那些功能的扩展。
一介白衣ing·2023-09-03 00:16

怎么从0到1创建一个PHP框架-2？

框架地址：https://github.com/yijiebaiyi/fast_framework实现缓存框架中的缓存、日志、ORM都是使用适配器模式。即定义一个抽象类，抽象类中定义若干抽象方法。
一介白衣ing·2023-09-03 00:16

怎么从0到1创建一个PHP框架-3？

框架地址：https://github.com/yijiebaiyi/fast_framework实现容器依赖注入首先我们先了解概念。框架中的容器指的是什么？什么是依赖注入？
一介白衣ing·2023-09-03 00:45

pypinyin的使用 2018-10-26

importjieba#导入jieba模块x='分词的准确度直接影响了后续文本处理和挖掘算法的最终效果。'
Mr_Du_Biao·2023-09-02 09:03

Python安装第三方包的三种方式

平时安装第三方包时都是直接pipinstallpackage_name，但有时会因为各种情况装不上下面以jieba为例：方式一：全自动安装pipinstalljiebaeasy_installjieba
我以为你是流过泪的人·2023-09-01 16:47

jieba 加whooh 构建自己本地数据库的搜索引擎

例子fromwhoosh.indeximportcreate_infromwhoosh.fieldsimportSchema,TEXT,IDfromjieba.analyseimportChineseAnalyzerfromwhoosh.qparserimportQueryParserimportosanalyzer
东方佑·2023-08-31 08:53

词云图

Python2.7wordcloud-英文，jieba-中文，但是不严谨matplotlibjieba词云图，文字图：https://www.jianshu.com/p/4fb27471295f快捷工具
慧玲说·2023-08-31 03:21

Python运行requirements.txt 文件安装包

pypi.tuna.tsinghua.edu.cn/simple加上后面的-ihttps://pypi.tuna.tsinghua.edu.cn/simple可以很快就下载完了requirements.txt文件格式jieba
我是_程序员·2023-08-31 02:40

2019-05-22

importnumpyasnpfromsklearn.model_selectionimporttrain_test_splitfromsklearn.feature_extraction.textimportTfidfVectorizerimportreimportstringimportjiebafromsklearn.linear_modelimportSGDClassifierfromsk
yujie8888·2023-08-28 04:53

Python第三方库概览

Python第三方库概览知识点第三方库的获取和安装脚本程序转变为可执行程序的第三方库:PyInstaller库(必选)第三方库:jieba库(必选)、wordcloud库（可选）知识导图1、Python
Token_w·2023-08-27 18:48

中文分词和tfidf特征应用

的基础任务--分词2.中文分词2.1中文分词-难点2.2中文分词-正向最大匹配2.2.1实现方式一2.2.2实现方式二利用前缀字典2.3中文分词-反向最大匹配2.4中文分词-双向最大匹配2.5中文分词-jieba
@kc++·2023-08-27 17:57

【大模型AIGC系列课程 2-3】动手为ChatGPT打造第二大脑

pipinstalljiebaimportjieba#中文分词包text='''6月27日，世界经济论坛发布了《2023年10大新兴技术》报告。
小爷毛毛（卓寿杰）·2023-08-27 00:56

Python统计中文词频的四种方法

中文词频统计主要是通过open()打开文本，然后read()方法读取后，采用结巴分词(jieba)模块进行分词，接着用推表推导式、Counter或者是字典的方法来统计词频，也可以采用NLTK的方法，最后格式化打印出来
PythonFun·2023-08-26 18:15

学习Python的第三天

/novel/threekingdom.txt','r',encoding='utf-8')asf:words=f.read()分词words_list=jieba.lcut(words)每个词出现的次数
宁静夏天_37b0·2023-08-26 02:30

基于Ｓｐａｒｋ框架的新闻推荐系统的设计与实现

1.摘要离线ALS算法，以及基于内容的推荐算法进行结合.实时计算部分，使用Ｓｐａｒｋ平台上的ＳｐａｒｋＳｔｒｅａｍｉｎｇ流处理技术，处理日志收集框架Ｆｌｕｍｅ收集的日志信息.2.需要的技术jieba
Wzideng·2023-08-25 06:12

NLP - 如何解决ModuleNotFoundError: No module named ‘jieba‘的问题

错误描述在JUPYTER中，使用结巴分词，出错：ModuleNotFoundError:Nomodulenamed'jieba'解决方案在AnacondaPrompt中，执行以下指令（可以解决）：pipinstalljieba-ihttps
cloneme01·2023-08-23 07:35

「补充」20Python主要模块的使用

importpandas导入数据，为数据指定索引，引用数据框，数据离散化importmatplotlib.pylab数据可视化，作图（折线图，散点图，直方图）importpymysql连接数据库importjieba
林拂晓·2023-08-22 13:58

No module named ‘jieba‘解决办法

此方法适用于python编译软件出现Nomodulenamed‘XXX’问题的处理（XXX里面需是相应工具包名，而非自定义模块名）此问题的核心就是找不到对应模块。如果是自定义模块出现这个问题，那么就是模块定义和模块引用对应的名字打错了。目录此方法适用于python编译软件出现Nomodulenamed'XXX'问题的处理（XXX里面需是相应工具包名，而非自定义模块名）1.先确定自己是否有安装相应的
Cheny1m·2023-08-22 12:04

python生成whl包

setuptools.readthedocs.io/en/latest/setuptools.htmlfromsetuptoolsimportfind_packages,setupsetup(name='jieba_test
MasonYyp·2023-08-21 22:36

中文文本处理高手指南：从零到高手掌握Python中jieba库

介绍jieba是一个强大的中文分词工具，用于将中文文本切分成单个词语。它支持多种分词模式，包括精确模式、全模式、搜索引擎模式等，还可以通过用户自定义词典来增加新词。
　子午·2023-08-21 11:01

中文文本处理高手指南：从零到高手掌握Python中jieba库

介绍jieba是一个强大的中文分词工具，用于将中文文本切分成单个词语。它支持多种分词模式，包括精确模式、全模式、搜索引擎模式等，还可以通过用户自定义词典来增加新词。
·2023-08-21 10:14

jieba结巴分词--关键词抽取（核心词抽取）

转自：http://www.cnblogs.com/zhbzz2007欢迎转载，也请保留这段声明。谢谢！1简介关键词抽取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。这个可以追溯到文献检索初期，当时还不支持全文搜索的时候，关键词就可以作为搜索这篇论文的词语。因此，目前依然可以在论文中看到关键词这一项。除了这些，关键词还可以在文本聚类、分类、自动摘要等领域中有着重要的作用。比如在聚类时将关键
毛里里求斯·2023-08-20 15:41

Lucene bm25 结合 jieba中文分词搜索

org.apache.lucenelucene-core6.2.0org.apache.lucenelucene-test-framework6.2.0junitjunit4.12org.apache.lucenelucene-queryparser6.2.0org.jsoupjsoup1.9.2com.huabanjieba-analy
三印·2023-08-20 15:11

ik分词和jieba分词哪个好_Jieba&IK Analyzer——分词工具的比较与使用

常见开源的中文分词工具接下来，我具体介绍Jieba和IKAnalyzer的使用。
weixin_39943000·2023-08-20 15:40

jieba中的分词方法

jieba中的分词方法最近刚好在看一些自然语言处理方面的东西，写的一些代码中也用到了jieba这个库，感觉从效果上来说还是可以的。
tuqinag·2023-08-20 15:10

jieba分词怎么操作_jieba 分词简单应用

关键词抽取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。这个可以追溯到文献检索初期，当时还不支持全文搜索的时候，关键词就可以作为搜索这篇论文的词语。因此，目前依然可以在论文中看到关键词这一项。除了这些，关键词还可以在文本聚类、分类、自动摘要等领域中有着重要的作用。比如在聚类时将关键词相似的几篇文档看成一个团簇，可以大大提高聚类算法的收敛速度；从某天所有的新闻中提取出这些新闻的关键词，就可以
weixin_39557797·2023-08-20 15:10

jieba分词关键词抽取

1简介关键词抽取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。这个可以追溯到文献检索初期，当时还不支持全文搜索的时候，关键词就可以作为搜索这篇论文的词语。因此，目前依然可以在论文中看到关键词这一项。除了这些，关键词还可以在文本聚类、分类、自动摘要等领域中有着重要的作用。比如在聚类时将关键词相似的几篇文档看成一个团簇，可以大大提高聚类算法的收敛速度；从某天所有的新闻中提取出这些新闻的关键词，
菜鸡程序员丶·2023-08-20 15:09

3、Python 中文分词组件Jieba

现在开源的中文分词工具有SnowNLP、THULAC、Jieba和HanLP等，这里梳理下Jieba组件的内容。
谁是谁的小确幸·2023-08-20 15:39

统计语言模型-词向量-中文分词-jieba/wordcloud-分类算法

统计语言模型-词向量-中文分词-jieba/wordcloud-分类算法目录统计语言模型-词向量-中文分词-jieba/wordcloud-分类算法一、基本理论1.统计语言模型2.词向量(1)tfidf
小黄人的黄·2023-08-20 15:08
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他