jieba分词器

[C++项目] Boost文档 站内搜索引擎(3): 建立文档及其关键字的正排 倒排索引、jieba库的安装与使用...

之前的两篇文章:第一篇文章介绍了本项目的背景,获取了Boost库文档[C++项目]Boost文档站内搜索引擎(1):项目背景介绍、相关技术栈、相关概念介绍…第二篇文章分析实现了parser模块.此模块的作用是对所有文档html文件,进行清理并汇总[C++项目]Boost文档站内搜索引擎(2):文档文本解析模块parser的实现、如何对文档文件去标签、如何获取文档标题…至此,搜索引擎建立索引的4个步
七月.cc·2023-08-04 16:23

豆瓣电影Top250数据分析

requirementsbeautifulsoup4==4.9.1bs4==0.0.1click==7.1.2cycler==0.10.0Flask==1.1.2itsdangerous==1.1.0jieba
北海鲸落·2023-08-03 16:47

Python爬取京东Iphone X用户评论并绘制词云

目标爬取京东商城上iPhoneX用户评论数据；使用jieba对评论数据进行分词处理；使用wordcloud绘制词云图。目前京东商城只会展示商品的前100页评论，所以我们能爬取到的评论只有1000条。
weixin_34296641·2023-08-03 03:05

Doccano工具安装教程/文本标注工具/文本标注自己的项目/NLP分词器工具/自然语言处理必备工具/如何使用文本标注工具

这篇文章是专门的安装教程，后续的项目创建，如何使用，以及代码部分可以参考这篇文章：NER实战：(NLP实战/命名实体识别/文本标注/Doccano工具使用/关键信息抽取/Token分类/源码解读/代码逐行解读)_会害羞的杨卓越的博客-CSDN博客1、安装说明doccano是docummentanotation的缩写，是一个开源的文本标注工具，我们可以用它为NLP任务的语料库进行打标。Doccano
会害羞的杨卓越·2023-08-02 13:34

django中haystack+whoosh+jieba实现网站的全局搜索功能

一提起数据库关键搜索，相信大家都会想起like语句，django中也可以使用orm的contains进行查询，这种查询是非常耗时间的，对于小量数量还可以，但随着数据的增多，查询速度会急剧下降，因此网站中使用这种方式是非常不合理的。基于这种情况，许多全文搜索框架应运而生。本来打算使用haystack+elasticsearch实现全局搜索，但windows的系统环境问题和windows版的docke
小泽十一章·2023-08-02 13:59

Haystack + Whoosh + jieba进行全文搜索

中文分词Jieba，由于Whoosh自带的是英文分词，对中文的分词支持不是太好，故
闲鱼!!!·2023-08-02 13:29

稍微深度踩坑haystack + whoosh + jieba

说到django的全文检索，网上基本推荐的都是haystack+whoosh+jieba的方案。由于我的需求对搜索时间敏感度较低，但是要求不能有数据的错漏。
llsxily·2023-08-02 13:28

jieba分词

jieba（结巴）是一个强大的分词库，完美支持中文分词，本文对其基本用法做一个简要总结。
她即我命·2023-08-02 11:05

Spring Data Elasticsearch - 在Spring应用中操作Elasticsearch数据库

SpringDataElasticsearch1.定义文档映射实体类2.Repository3.ElasticsearchRestTemplate3.1查询相关特性3.1.1过滤3.1.2排序3.1.3自定义分词器
Ronny-7·2023-08-02 07:43

ElasticSearchRepository

==term精确匹配==代表完全匹配，也就是精确查询，搜索前不会再对搜索词进行分词解析，直接对搜索词进行查找；==match==根据定义的分词器默认standar对搜索词进行拆分，根据拆分结果逐
Ending__·2023-08-02 07:30

【Docker】Docker安装Elasticsearch服务的正确方式

Elasticsearch2.Docker安装Elasticsearch2.1确定Elasticsearch的版本2.2.Docker安装Elasticsearch2.3.给Elasticsearch安装中文分词器
Fire Fish·2023-08-01 21:15

【Docker】Docker安装MySQL、Redis、RabbitMQ、Elasticsearch、Nacos等常见服务（质量有保证，详情讲解）

RabbitMQ2.4.Docker单独安装Elasticsearch2.4.1确定Elasticsearch的版本2.4.2Docker安装Elasticsearch2.4.3给Elasticsearch安装中文分词器
Fire Fish·2023-08-01 21:45

开源中文分词Ansj的简单使用

ANSJ是由孙健（ansjsun）开源的一个中文分词器，为ICTLAS的Java版本，也采用了Bigram+HMM分词模型：在Bigram分词的基础上，识别未登录词，以提高分词准确度。
风萧萧1999·2023-08-01 12:12

python 关键词提取 (jieba+sklearn)

#!/usr/bin/python#coding=utf-8#TF-IDF提取文本关键词#http://scikit-learn.org/stable/modules/feature_extraction.html#tfidf-term-weightingimportsysimportosfromconfig_chimport*importchardetimportnumpyasnpimportp
laod_wh·2023-08-01 12:02

Datawhale--AI夏令营学习笔记（二）--NLP方向

importosimportpandasaspdimporttorchfromtorchimportnnfromtorch.utils.dataimportDataset,DataLoader#用于加载bert模型的分词器
Nobitaxi·2023-08-01 10:19

jieba分词

jieba主要用于Python中文分词，主要有以下3种特性：支持3种分词模式：精确模式、全模式、搜索引擎模式支持繁体分词支持自定义词典#导入jiebaimportjiebaimportjieba.possegaspseg
米小河123·2023-08-01 02:49

Docker安装es以及ik分词器

1、拉取镜像dockerpullelasticsearch:7.10.12、下载对应版本的ik分词、并将它们解压到ik文件夹下，如图https://github.com/medcl/elasticsearch-analysis-ik/releases3、在服务器上创建文件夹mkdir/usr/elklog/elk/esmkdir/usr/elklog/elk/es/datamkdir/usr/el
一梦无痕bzy·2023-07-31 12:32

文本计算

2.2中文分词分词模式2importjieba#精准模式print("|".join(jieba.cut("今天天气不错,我来到北京野生动物园,在野生动物园看到有很多凶猛的动物",cut_all=False
叫兽吃橙子·2023-07-31 10:53

计算机毕业设计Python+Vue.js+Flask+Scrapy电影大数据分析 电影推荐系统 电影爬虫可视化 电影数据分析 大数据毕业设计

协同过滤推荐算法集成(ItemCF推荐算法和UserCF推荐算法)2.专业美工整体设计的细腻的酷黑主题，前后端分离一体化系统（爬虫→MySQL→Flask→Vue）；实现影片库搜索，多种Echarts图形分析、jieba
计算机毕业设计大神·2023-07-31 01:55

2023年的深度学习入门指南(22) - 百川大模型13B的运行及量化

比如分词器我们就没讲。另外，13B比7B的改进点也没有讲。再有，对于13B需要多少显存我们也没说。13B光是模型加载就需要26GB的显存，加上推理需要的消i耗，没有个28GB以上的显存是比较悬的。
Jtag特工·2023-07-31 01:05

IKAnalyzer 添加扩展词库和自定义词

原文链接http://blog.csdn.net/whzhaochao/article/details/50130605IKanalyzer分词器IK分词器源码位置http://git.oschina.net
赵侠客·2023-07-30 07:14

SpringBoot整合ES

1.创建springboot项目引入ES依赖es与spring以及分词器要有严格的版本对应2.配置文件spring:elasticsearch:rest:uris:ip:92003.配置客户端@ConfigurationpublicclassRestClientConfigextendsAbstractElasticsearchConfiguration
行善积德_Fei·2023-07-29 21:58

ElasticSearch之IK分词器安装以及使用介绍

文章目录一、IK分词器简介1.支持细粒度分词：2.支持多种分词模式：3.支持自定义词典：4.支持拼音分词：5.易于集成和使用：二、安装步骤1、下载IK分词器插件：2、安装IK分词器插件：3.安装完ik分词器闪退问题
running_1997·2023-07-29 09:52

es-05分词器

文章目录分词器1normalization：文档规范化,提高召回率2字符过滤器（characterfilter）：分词之前的预处理，过滤无用字符3令牌过滤器（tokenfilter）：停用词、时态转换、
龘龍龙·2023-07-29 04:57

Linux安装elasticsearch、IK分词器和kibana

这里主要说明elasticsearch、kibana、Ik分词器的下载安装，以及注意的一些问题。
枣泥馅·2023-07-29 01:21

Django haystack + whoosh + jieba 全文搜索

简介业务场景搜索栏输入塑料玩具时，希望优先搜索出名称或简介中带有塑料玩具的条目，并同时匹配出塑料、玩具、玩具塑料、塑料玩巨等信息，按照匹配度排序，且支持匹配英文大小写。技术选型Django自带的模糊匹配icontains表示Mysql的like,不满足业务分词需求，且随着数据量增大，消耗的资源和时间都会线性增长，因此考虑使用专门的搜索框架haystack搜索框架，用于接入搜索引擎，而无需关注索引建
李霖弢·2023-07-29 01:38

docker-compose安装elasticsearch&kibana&ik分词器&自定义字典

创建目录mkdir-p/data/docker/es/elasticsearch/configmkdir-p/data/docker/es/elasticsearch/datamkdir-p/data/docker/es/elasticsearch/pluginsmkdir-p/data/docker/es/kibana/configelasticsearch.yml文件vi/data/docke
慕菲烟云·2023-07-28 16:44

ES自定义分词，对数字进行分词

需求：需要将下面类似的数据分词为：GB,T,32403,1,2015"text":"GB/T32403.1-2015"1、调研现在用的ik分词器效果POST_analyze{"analyzer":"ik_max_word
✿ﾟ卡笨卡·2023-07-28 07:47

利用jieba库和wordcloud库，进行中文词频统计并利用词云图进行数据可视化

目录利用jieba库和wordcloud库，进行中文词频统计并利用词云图进行数据可视化安装jieba库安装wordcloud打开pycharm编写代码利用jieba库和wordcloud库，进行中文词频统计并利用词云图进行数据可视化安装
潆勖·2023-07-28 06:53

Python之pip install安装失败问题

问题一：在windows的命令窗口使用pipinstalljieba-ihttps://pypi.doubanio.com/simple/安装jieba（举例的安装包，可以是其他的安装包；此次使用的是豆瓣源
Visunf Chen·2023-07-27 20:57

Elasticsearch-mapping

1.Mapping基本概念Mapping也称之为映射，定义了ES的索引结构、字段类型、分词器等属性，是索引必不可少的组成部分。
欧冶渃·2023-07-27 17:35

MATLAB算法实战应用案例精讲-【深度学习】预训练模型-Subword

目录前言Subword1.Subword介绍分词器是做什么的？为什么需要分词？分词方法
林聪木·2023-07-27 17:25

SpringBoot 集成 Elasticsearch

一、版本spring-boot版本：2.3.7.RELEASEElasticsearch7.8.0版本说明详见二、Elasticsearch下载和安装Elasticsearch下载kibana下载ik分词器下载配置
IEVEl·2023-07-27 12:23

Python文本处理

前言本文主要介绍python文本处理算法代码主要应用和一些基本原理一、常用库1.Jiebajieba是支持中文分词的第三方库。
noobiee·2023-07-27 11:19

分词工具使用系列——sentencepiece使用

分词工具使用系列第一章sentencepiece使用第二章jieba工具使用文章目录分词工具使用系列前言——细说分词一、sentencepiece是什么？
不被定义的号·2023-07-27 09:29

28.2 IK分词器

1.IK分词器之前我们创建索引，查询数据，都是使用的默认的分词器，分词效果不太理想，会把text的字段分成一个一个汉字。IK分词器在是一款基于词典和规则的中文分词器。
LB_bei·2023-07-26 23:55

ik 分词器怎么调用缓存的词库

IK分词器是一个基于Java实现的中文分词器，它支持在分词时调用缓存的词库。要使用IK分词器调用缓存的词库，你需要完成以下步骤：创建IK分词器实例首先，你需要创建一个IK分词器的实例。
猹里。·2023-07-26 19:30

jieba库安装

使用pipinstalljieba会报错的，我的py版本是3.732位使用pip3installjieba，成功
第七原色·2023-07-26 18:35

八、ElasticSearch之mapping API

（1）mapping定义每个field的数据类型、索引行为、是否分词以及分词器等，就是index的type的元数据string-->text/keywordbyte，short，integer，long
换煤气哥哥·2023-07-26 16:45

解决使用@Field注解配置分词器失效问题（Spring Data Elasticsearch）

问题复现：插入数据时，实体类配置的@Field注解没有生效实体类：packagecn.aopmin.pojo;importlombok.AllArgsConstructor;importlombok.Data;importlombok.NoArgsConstructor;importorg.springframework.data.annotation.Id;importorg.springfra
白豆五·2023-07-26 11:40

JavaWeb_SpringCloud微服务_Day5-elasticsearch

JavaWeb_SpringCloud微服务_Day5-elasticsearch初识elasticsearchelasticsearch倒排索引elasticsearch的基本概念安装软件ik分词器的拓展和停用词典索引库操作
Y_cen·2023-07-26 02:33

SpringCloud学习路线（11）——分布式搜索ElasticSeach场景使用

1、常见查询类型：查询所有：查询出所有的数据，例如，match_all全文检索（fulltext）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。
Zain_horse·2023-07-26 01:19

搜索接口开发

导入进ES进行存储时，主要使用以下两种数据类型，当然，我们也不可忽略了IK分词器：text:分词，索引，模糊精确查询，不支持聚合keyword:不分词，索引，精确查询，支持聚合数据导入到ES之后再到ES
李黎明·2023-07-25 12:31

Elasticsearch 映射Mappings (三)

创建索引四、自动映射模板DynamicTemplates定义映射模板规则判定：conditlonsmatch_mapping_typematch、unmatchpath_match、path_unmatch分词器变量总结前言本文主要记录映
天将降大任于我·2023-07-25 11:37

Elasticsearch 6.4.3配置ik分词器

环境准备：es版本：6.4.3步骤：1.下载和es版本对应的ik分词器，这里需要下载的版本是6.4.3wgethttps://github.com/medcl/elasticsearch-analysis-ik
Lanjerry·2023-07-25 11:31

NLP（十二）依存句法分析的可视化及图分析

我们使用的NLP工具为jieba和LTP，其中jieba用于分词，LTP用于词性标注和句法分析，需要事件下载pos.model和parser.model文件。  本文使用的示例句子为：2018年
山阴少年·2023-07-25 03:52

启动es容器错误

java.lang.IllegalArgumentException:Plugin[analysis-ik]wasbuiltforElasticsearchversion8.8.2butversion7.12.1isrunning）解决：是IK分词器的版本过高
何中应·2023-07-25 01:04

ElasticSearch学习--自动补全

目录自定义分词器介绍配置自定义分词器拼音分词器的问题编辑总结DSL自动补全查询RestAPI实现自动补全自定义分词器介绍自定义分词器只在当前库中有效配置自定义分词器拼音分词器的问题总结DSL自动补全查询
Java菜鸟尹先生·2023-07-24 22:48

Tokenizer总结

tokenizer在中文中叫做分词器，就是将句子分成一个个小的词块(token),生成一个词表，并通过模型学习到更好的表示。其中词表的大小和token的长短是很关键的因素，两者需要进行权
choose_c·2023-07-24 13:21

Java分词工具：word

word分词器主页：https://github.com/ysc/wordword分词是一个Java实现的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。
进击的小鹿·2023-07-24 10:48
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他