jieba分词器

Lucene&ElasticSeach

如何实现全文检索1.5全文检索的应用场景2Lucene实现全文检索的流程说明2.1索引和搜索流程图2.2创建索引2.3倒排索引3Lucene实战3.1需求说明3.2准备开发环境3.3创建索引3.4查询索引3.5中文分词器的使用
m0_46337171·2021-03-20 17:43

【数据可视化】利用WordCloud制作词云（2021-03-20）

利用wordcloud制作词云1.jieba分词链接：https://github.com/fxsjy/jieba“结巴”中文分词是一个使用起来非常方便的Python中文分词组件。
中传男明星皮皮·2021-03-20 15:19

ElasticSearch分词器

[TOC]1内置分词器es中有很多内置分词器，如果不特殊指定分词器，默认分词器为standard。对英文单词可以正常分词，对中文分词不友好，会将中文分词为一个个单个字符。
水煮鱼又失败了·2021-03-15 22:40

BeautifulSoup爬取国家政策网目标话题的10篇文章，以及基于jieba的关键字生成

BeautifulSoup爬取国家政策网目标话题的10篇文章，以及基于jieba的关键字生成引用链接1引用链接2一：基本步骤1.首先，写出需要访问的url,涉及到将中文转化为utf8编码，再转化为请求格式
高级cv算法设计师·2021-03-12 21:26

通过词云看看小区名字那些事

主要工具wordcloud词云jieba结巴分词先放代码importjiebafromwordcloudimportWordCloud,ImageColorGen
雷小厮·2021-03-11 03:05

Solr中文排序问题/分词搜索问题

现象描述图片.png如图，搜索全脂奶粉，脱脂奶粉排名却比较靠前2.问题分析图片.pngsolr中文分词粒度过细（左图为建表索引时的分词，右图为查询时的分词）3.解决过程ik分词器对中文分词效果较好，但现在已经停止更新
Martin_阿锤·2021-03-10 21:34

如何使用Transformers和Tokenizers从头开始训练新的语言模型

文章目录前言1.下载数据集2.训练一个分词器(tokenizer)3.从零开始训练语言模型定义这个模型的配置文件建立训练数据集检查LM是否受过训练总结huggingface教程翻译，原文博客地址，cloab
名字填充中·2021-03-09 09:48

windows下 Elasticsearch服务集群搭建及基本使用，配置ik分词器、及插件head、kopf

1、环境准备image.png2、jdk安装下载JDK后，根据提示进行安装操作；在安装JDK时会安装JRE，一起安装就好。2.1配置环境变量："我的电脑"---右键属性---高级系统设置---环境变量image.png2.2在系统变量中配置3项属性，JAVA_HOME、PATH、CLASSPATH(大小写忽略),若已存在则点击"编辑"，不存在则点击"新建"。变量设置参数如下：变量名：JAVA_HO
曼昱的小蓝毛巾·2021-03-08 10:46

用Python分析下王小波与李银河写情书最爱用哪些词

importjiebafromstylecloudimportgen_styleclouddefjieba_cloud(file_name,icon):withopen(file_name,'r',
一个超会写Bug的小安·2021-03-06 00:48

ElasticSearch笔记

1、聊一个人2、货比三家3、安装4、生态圈5、分词器ik6、RestFul操作ES7、CRUD8
laoliu0402·2021-03-01 21:59

Python绘制词云图之可视化神器pyecharts的方法

根据喜爱的图片生成词云轮廓fromwordcloudimportWordCloudimportjiebaimportmatplotlib.pyplotaspltimportnumpyasnpimportPIL
·2021-02-23 10:19

Elasticsearch基本入门

（Mapping）4、索引（Index）1、字段（Fields）字段是ES中最小的独立单元数据，每一个字段有自己的数据类型（可以自己定义覆盖ES自动设置的数据类型），我们还可以对单个字段设置是否分析、分词器等等
Faith-yjh·2021-02-22 14:13

AttributeError: module ‘jieba‘ has no attribute ‘lcut‘

报错：words=lcut(passage)#精确模式分词形式NameError:name'lcut'isnotdefinedwords=lcut(passage)改为words=jieba.lcut(
我是小飞熊·2021-02-22 10:17

docker搭建Elasticsearch-ik中文分词器- 安装Kibana Java中使用

前言：Elasticsearch是一个开源的搜索引擎，建立在一个全文搜索引擎库ApacheLucene™基础之上。Lucene可以说是当下最先进、高性能、全功能的搜索引擎库—无论是开源还是私有。但是Lucene仅仅只是一个库。为了充分发挥其功能，你需要使用Java并将Lucene直接集成到应用程序中。更糟糕的是，您可能需要获得信息检索学位才能了解其工作原理。Lucene非常复杂。Elasticse
　 T·2021-02-21 23:46

Python爬虫分析微博热搜关键词

1，使用到的第三方库requestsBeautifulSoup美味汤worldcloud词云jieba中文分词matplotlib绘图2，代码实现部分importrequestsimportwordcloudimportjiebafrombs4importBeautifulSoupfrommatplotlibimportpyplotaspltfrompylabimportmpl
北晨lpl·2021-02-18 22:31

Python爬取豆瓣电影评论，并用词云显示

Python爬取豆瓣电影评论，并用词云显示1、分析我们打开豆瓣网站，随便搜索一部电影，到详情页，这是我们观察地址后面这一串数字就是这部电影的id2、需要用到的库1、requests库，最经典的爬虫库2、jieba
Lexi_Alexander·2021-02-17 20:30

文本特征抽取TfidfVectorizer(特征工程之特征提取)

文章目录前言一、jieba分词中文后再用CountVectorizer提取特征有何不妥？
不懂六月飞雪·2021-02-16 01:01

python实现对小说的文本分析（人物关系图，人物词云等）

文本分析1.整体思路：调用的库：jieba,matplotlib,networkx,wordcloud分析的文本：三联版连城诀需要的工具：Python，小说文本，中文停词文档。
勒布朗 展·2021-02-14 11:16

python画词云图（简单代码实现）

cut_text=jieba.cut(str_negative_note)result="/".join(cut_text)wc=WordCloud(background_color='white',width
Yuxuan_Yue·2021-02-10 00:43

Docker Compose搭建elk并配置ik分词器

elk-docker##克隆下载docker-elk文件gitclonehttps://github.com/deviantony/docker-elk.git3.下载elasticsearch-analysis-ik分词器
YueLinbo·2021-02-07 14:15

python计算数组余弦相似度_文本相似度计算--余弦相似度

大概的流程就是，为了计算两句话的相似度，首先需要将两句话拆分成词，也就是所谓的分词，这里中文的话方法就是利用python的jieba库，很方便，很上手。
研究所的鹏鹏博士·2021-02-02 22:41

ELasticsearch安装拼音插件结合IK中文分词+拼音（在线+离线）

1、在线联网安装直接进入容器内部进行编辑#进入容器内部编辑dockerexec-itelasticsearchbash#安装IK分词器拼音插件(Github官网)elasticsearch-plugininstallhttps
·2021-02-01 11:00

Elasticsearch安装IK分词器（联网+离线）

在线联网安装直接进入容器内部进行编辑#进入容器内部编辑,或者在Elasticsearch下的bin目录下执行elasticsearch-plugindockerexec-itelasticsearchbash#安装IK分词器插件
·2021-02-01 11:26

【Python学习笔记】词频统计

前往：我自己搭建的博客所用版本：Python3.6，jieba0.42.1，nltk3.2.4，wordcloud1.8.1NLTK统计将分词后的结果放入list，调用nltk.FreqDist()进行频数统计
zjgmartin·2021-01-30 17:30

ELasticsearch安装拼音插件结合IK中文分词+拼音（在线+离线）

1、在线联网安装直接进入容器内部进行编辑#进入容器内部编辑dockerexec-itelasticsearchbash#安装IK分词器拼音插件(Github官网)elasticsearch-plugininstallhttps
·2021-01-29 21:17

Elasticsearch安装IK分词器（联网+离线）

在线联网安装直接进入容器内部进行编辑#进入容器内部编辑,或者在Elasticsearch下的bin目录下执行elasticsearch-plugindockerexec-itelasticsearchbash#安装IK分词器插件
·2021-01-29 15:31

【Python学习笔记】结巴分词

前往：我自己搭建的博客所用版本：Python3.6，jieba-0.42.1分词模式精确模式：以尽可能正确的方式切分句子，适合做文本分析。全模式：扫描出句子中所有可能的词语，速度快，无法消歧义。
zjgmartin·2021-01-28 17:02

Python爬虫自动化爬取b站实时弹幕实例方法

1、导入需要的库importjieba#分词fromwordcloudimportWordCloud#词云fromPILimportIma
·2021-01-26 10:55

jieba分词+collections 词频统计

文章目录前言一、jieba分词（一）特点（二）主要功能1.分词（三）载入词典（四）载入词典（五）关键词抽取1.基于TF-IDF算法的关键词抽取2.基于TextRank算法的关键词抽取（六）词性标注二、collections
Txixi·2021-01-25 21:21

特征提取初识

文章目录特征提取初识基与传统算法的分词算法最大正相匹配最大逆向匹配最大双向最大匹配分词模型基于传统算法及统计学模型jieba模型注意补充jieba的分词算法jieba的使用简介词加权算法TF-IDF算法
＿愚者·2021-01-24 21:17

Elasticsearch7.4.2、Kibana7.4.2、IK分词器7.4.2的Docker安装过程

注意：服务器先自行安装docker下载镜像文件：dockerpullelasticsearch:7.4.2dockerpullkibana:7.4.2创建实例：Elasticsearch创建容器外的挂载目录和es配置文件mkdir-p/mydata/elasticsearch/configmkdir-p/mydata/elasticsearch/datamkdir-p/mydata
曙光][照亮黑夜·2021-01-24 19:21

Python自动化爬取b站实时弹幕并制作WordCloud词云

暂时领先，未必最先达到终点一:jieba分词二:制作WordCloud词云这几日小夜斗一直在折腾于词云制作、力扣刷题、java学习、还有爬取微博评论数据的爬虫项目，一直没有功夫写博客，内心感到无比空虚，
夜斗小神社·2021-01-24 15:42

ElasticSearch 的标准分词器和关键词分词器

标准分词器如果没有指定分词器，将使用标准分词器standard作为默认的分词器。
·2021-01-24 00:52

自然语言处理--利用 Doc2vec 计算文档向量

模块为语料库中的每篇文档包含了词向量嵌入和文档向量fromgensim.models.doc2vecimportTaggedDocument,Doc2Vec#gensim的simple_preprocess单元是一个粗分词器
@糯米君·2021-01-21 23:41

Python基础课程笔记·嵩天

库基础知识基本数据数字类型整数类型浮点数类型复数类型数字操作操作符字符串操作字符串切片：字符串操作字符串处理函数内置字符串操作方法字符串格式化time库时间获取时间格式化程序计时库引用程序的控制结构程序分支结构异常处理的使用程序的循环结构random库函数集合集合元组列表jieba
zhj12399·2021-01-21 19:43

ElasticSearch 的标准分词器和关键词分词器

标准分词器如果没有指定分词器，将使用标准分词器standard作为默认的分词器。
小伍·2021-01-20 00:36

Elasticsearch IK 分词器插件的安装使用

重启ES服务器，观察加载日志是否包含IK分词器。IK分词器的使用IK分词器有两种分词模式：ik_max_word：最细粒度拆分，即最大词数。ik_smart：最粗粒度拆分，即最小词数。
小伍·2021-01-19 00:48

Elasticsearch IK 分词器插件的安装使用

重启ES服务器，观察加载日志是否包含IK分词器。IK分词器的使用IK分词器有两种分词模式：ik_max_word：最细粒度拆分，即最大词数。ik_smart：最粗粒度拆分，即最小词数。
小伍·2021-01-19 00:49

零基础Python网络爬虫实现根据关键词爬取历史微博热搜（基于热搜神器网站）并利用jieba进行频度排序处理

根据关键词爬取历史微博热搜写在最前一些废话爬虫jieba处理写在最前一些废话写这个主要是记录学习，这个代码比较简单，大部分参考了别人的代码，主要是加一些备注以及添加一些东西。而且是零基础所以废话特！
霎戏谶言·2021-01-18 21:21

我用python分析王冰冰B站视频，和冰冰一起逛北京！！

文章目录完整代码具体实现完整代码#大作业b站弹幕分析系统fromimageioimportimread#加载图片importrequests#发出请求importcsv#文件格式importre#正则表达式筛选importjieba
Cachel wood·2021-01-18 20:27

Anaconda 和 Pycharm

在Anaconda中安装jieba、wordcloud等第三方库，可以尝试用condainstall-cconda-forgejieba命令。这个命令的语法是：con
drs1986·2021-01-18 12:46

我的Python学习之路(7)

学习了Python的文件操作和数据格式化的基本概念2.了解一维数据和二维数据的格式化与处理3.安装wordcloud词云库并使用4.根据所学内容，编写自动轨迹绘制实例，熟悉文件的读写操作5.结合之前所学的jieba
Mr_BigG·2021-01-18 11:24

我的Python学习之路(6)

今日学习内容1.了解Python的组合数据类型，例如集合类型、序列类型（元组类型、列表类型）、字典类型2.根据三种类型，编写代码实现基本统计值的计算3.安装jieba库并熟悉它的函数4.根据jieba库和学习的组合数据类型
Mr_BigG·2021-01-15 15:25

Python从入门到入魔第五天——jieba库的使用

jieba库的安装jieba库是Python中第三方中文分词函数库，需要用户联网自定义安装，win+r调出命令行：输入cmd命令行安装方式：pipinstalljieba;pycharm环境安装方式：1
偷偷学Python·2021-01-13 21:48

Python jieba库分词模式实例用法

也对应着三种方式，包括jieba.cut()方法、jieba.lcut()方法、jieba.cut_for_search()方法。下面就为大家实例操作这些分词模式，以及方法的使用，一起来了解下吧。
·2021-01-13 19:38

python人物关系抽取小说_用python分析小说人物关系（一）——理论篇

1、工具介绍jiebajieba分词，最好用的开源中文分词工具。他最主要的两个功能是分词和关键词的抽取。在这里，我们需要用他的分词功能来提取文本中的人名。
DISSLS·2021-01-13 10:31

python制作词云中文_Python生成词云（解决中文词云乱码）

第一:先准备生成词云要用户的文本以及图片我这边是自己做了一个“洛神赋”三个字的图片，以及从网上拷贝了《洛神赋》的正文pic.png第二:需要安装的第三方库Pillow、wordcloud、jieba、numpy
晴-LQ·2021-01-12 11:28

【Gulimall+】Elasticsearch：docker启动、DSL与Java代码转换+ik分词器

文章目录引言安装elasticsearch使用ik分词器SpringBoot整合商品上架DSL查询DSL翻译为java代码引言先收藏一波官方link再看看别人的笔记1link笔记2link就假装我会了。
星空•物语·2021-01-11 23:34

Springboot2.x整合ElasticSearch7.x实战（二）

第三章分词器安装使用搜索，少不了使用分词器，elasticsea
rodert·2021-01-09 01:19

python按日期爬取b站弹幕 2.0版

b站弹幕爬取分析直接附上完整代码：importrequestsfromlxmlimportetreeimportpandasaspdfromwordcloudimportWordCloudimportjiebaimportdatetimeclassBarrageSpider
在学习。别问了。·2021-01-07 14:54
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他