结巴分词

elasticsearch实现入库分词，查询不分词，实现like关键字%

因为在工作中遇到一个需求，需要对请求内容实现类似于mysql的like"关键字%"模糊匹配功能，同时要保证效率大数据量效率问题，因此不能使用wildcard在网上看了很多也不太好使，自己琢磨了一下成功了，该功能仅对非中文存储的字段有效果，使用termquery去匹配自己也可以尝试别的方法，特此记录一下，项目使用spring-data-elasticsearch4.0.9（对应elasticsear
蓝染丶·2023-10-01 01:17

Elasticsearch自带分词查询及使用分词器查询

索引的增删改查,及文档的增删改查#创建一个索引库PUT/my_indexDELETE/my_indexPUT/my_index{"settings":{"number_of_shards":5,"number_of_replicas":1}}GET/my_indexPUT/my_index1{"mappings":{"properties":{"id":{"type":"long"},"name"
Ulrica_Li·2023-10-01 01:17

sql分词查询，实现类似ES的效果

需求：希望通过缩写查询到全称，列如输入常州一院，要得到常州市第一人民医院。1、创建全文索引#创建全文索引createFULLTEXTINDEXft_hospitalnameON`hospital_information`(`hospitalname`)withparserngram;2、编写查询sql#自然语言模式select*fromhospital_informationwhereMATCH(
重生之it界大佬·2023-10-01 01:17

基于python的自然语言处理NLP详细教程（一）

写在前面——本文关于自然语言处理的内容：1.相关第三包的准备2.获取语料库及停用词信息3.分词4.词频统计5.去停用词6.基于TF-IDF理论、词袋模型等的文本向量化处理7.机器学习、情感分析8.简单可视化一
千家·2023-09-30 19:17

es的match和match_phrase的对比

最近使用了es的match和match_phrase，简单的做了一个对比首先看看”我好帅“怎么进行分词？
Britney_z·2023-09-30 17:07

【深度学习】实验18 自然语言处理

文章目录自然语言处理分词技术1.正向最大匹配算法2.HanLP常用方法3.Jieba常用方法构建词向量1.基于sklearn构建One-hot词向量2.基于gensim构建word2vec词向量附：系列文章自然语言处理自然语言处理
Want595·2023-09-30 16:36

自然语言处理NLP：LTP、SnowNLP、HanLP 常用NLP工具和库对比

文章目录常见NLP任务常见NLP工具英文NLP工具中文NLP工具常见NLP任务WordSegmentation分词–TokenizationStemextraction词干提取-StemmingLexicalreduction
Cachel wood·2023-09-30 15:43

中文分词的词典中的词性标记

词性标记：包含ICTPOS3.0词性标记集、ICTCLAS汉语词性标注集、jieba字典中出现的词性、simhash中可以忽略的部分词性。
沐雪架构师·2023-09-30 11:48

【通意千问】大模型GitHub开源工程学习笔记（3）-- 通过Qwen预训练语言模型自动完成给定的文本

它的步骤如下：使用已加载的分词器tokenizer对输入文本进行处理，转换为模型可以理解的格式。输入文本是国家和首都的信息，最后一句是未完成的，需要模型来生成。
大表哥汽车人·2023-09-30 05:23

文本清洗及分词

文本清洗'''代码来源https://blog.csdn.net/qq_43814415/article/details/119517978?spm=1001.2101.3001.6650.15&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-15-119517978-blog-122389
照崴·2023-09-30 00:46

华为云API文字识别OCR的高效性—AI中名副其实的电子眼

云服务、API、SDK，调试，查看，我都行阅读短文您可以学习到：人工智能AI自言语言的情感分析、文本分词、文本翻译1IntelliJIDEA之API插件介绍API插件支持VSCodeIDE、IntelliJIDEA
华为云PaaS服务小智·2023-09-29 21:06

手机搜狗输入法，输入拼音时如何分割拼音，调出“分词“功能，如何微信或QQ使用发送按钮而不是换行？

设置方法默认页面如图希望设置成点击“分词”就可以在拼音之间输入’如何设置？在搜狗输入法的设置->键盘设置->拼音九键显示分词，默认没有打开，打开即可。
石头wang·2023-09-29 18:00

《学术小白学习之路10》论文常见方法：Doc2vec-句向量模型实现

importpandasaspdimportjiebaimportgensimfromgensim.modelsimportDoc2Vecfromgensim.models.doc2vecimportTaggedDocument再定义停用词典，用于分词
驭风少年君·2023-09-29 17:19

《学术小白学习之路13》基于DTM和主题共现网络——实现主题时序演化网络分析（数据代码在结尾）

《学术小白学习之路13》基于DTM和主题共现网络实现主题演化网络分析一、数据导入二、数据预处理2.1分词2.2向量化三、DTM建模3.1主题一致性检验3.2主题建模四、计算主题的相似度4.1获取文档主题分布
驭风少年君·2023-09-29 17:49

仿写软件怎么设计

下面简要介绍仿写软件的设计过程：1、仿写软件怎么设计的文本预处理：仿写软件需要对输入的原始文本进行预处理，包括分词、去停用词、词性标注、句法分析等操作，以便后续的文本分析和处理伪原创。
chatgpt001·2023-09-29 13:03

放手

晚上写完作业他慢慢吞吞洗了澡，阅读半小时，然后说很困了，结结巴巴背了两段。既如此，就早点休息吧。我回自己房间，接着听到孩子去卫生间戴眼镜，想必他也准备睡了。
壮壮妈慧颖·2023-09-29 10:21

当我读书时，我在想些什么？

空闲时间，外公还教我背唐诗宋词，背成语词典，对幼时的我来说，这些东西就像天书一样，晦涩难懂，碍于大人的威严，我无从选择，因此背得不太认真，总是结结巴巴，企图蒙混过关。尽
南宫冰然·2023-09-29 09:23

安卓启动流程(三) - tokenizer分词器

tokenizer分词器，是Parser解析工具的核心逻辑工具，主要工作是将rc文件的字符串分解出令牌和单词。
七零八落问号·2023-09-29 08:49

elasticsearch和mongodb对比

ElasticSearch优点：查询性能高、高效分词、支持各类复杂检索、支持海量数据存储。缺点：数据写入性能差、缺乏
秋叶原の黑猫·2023-09-29 08:32

小鲤鱼历险记

炎热的暑假，陪孩子阅读，是最好的亲子伴读，女儿结结巴巴读着，虽然现在她读的不顺畅，妈妈心里，妈妈相信你会有一天，像妈妈一样，读的非常流利，也可以有感情的读出声音。
梦婷_d44a·2023-09-29 07:29

《静悄悄的革命》心得一

我也常常在课堂上产生这样的事，有时为了赶进度，没有去正确“接住”每个学生的发言，未能与那些“投球”的学生的想法产生共振，有时甚至因为有些学生答非所问或者结结巴巴讲不明白时，我会无理的打断他们的发言，并自认为是的用自己的设法加以弥补
似曾相识汤燕·2023-09-29 04:53

0216今日复盘 追梦

晚上的花了一个多小时，全部分享完，准备的非常不充分，浪费了很多时间，分享的过程中遇到很多卡壳，忘词，结巴的问题，因为第1次尝试分享，所以再接再厉，继续加油。
追梦小朱·2023-09-28 16:36

【住在井里的西施】（分行体）

西施是一条鱼住在西京的一口井里伊没事就对着井水问我是不是天下最施（湿）的鱼井水通常沉默倒是隔壁的青蛙们爱点赞留言呱呱呱呱还偶尔有天上飞过的鸟儿给这井捎带点儿口信等鸟屎掉进井里发出东施东施的响声西施就有些疑惑，就有些结结巴巴后来西施的男朋友因为懂点儿鸟语终于发现鸟儿的信上说的布施布施那是说伊是东施从东湖来的东施
长衣倍倍·2023-09-28 11:55

2022-11-20

我觉得这样子可以离心中所想近一点，我天真的以为共同点可以拉近人与人的距离，后来就没有后来，就像在激流中互相擦肩而过的两片树叶，看着相似实际上不会有任何交集后来我遇见了一只小狗，比起别的狗更呆一点，叫起来也不是洪亮的犬吠而且细微结巴的哼唧
乌托邦少女·2023-09-28 06:25

ElasticSearch - 基于 拼音分词器 和 IK分词器 模拟实现“百度”搜索框自动补全功能

目录一、自动补全1.1、效果说明1.2、安装拼音分词器1.3、自定义分词器1.3.1、为什么要自定义分词器1.3.2、分词器的构成1.3.3、自定义分词器1.3.4、面临的问题和解决办法问题解决方案1.4
陈亦康·2023-09-28 06:07

2018年12月24小雪转晴

睡觉前儿子发小诗语音，发现他存在的问题，每次发之前不先读两遍，而是拿起来就发，结果是读的结结巴巴。
爱泽妈妈·2023-09-28 05:29

【自然语言处理基础技能（NLP)】朴素贝叶斯

朴素贝叶斯目录：1.引言2.贝叶斯公式3.用机器学习的视角理解贝叶斯公式4.垃圾邮件识别5.分词6.条件独立假设7.朴素贝叶斯(NaiveBayes)，“Naive”在何处？
皮卡丘的忧伤·2023-09-28 04:33

【自然语言处理基础技能（NLP)】语言模型基础

3.N-gram实际应用举例3.1词性标注3.2垃圾邮件识别3.3中文分词3.4机器翻译与语音识别4.平滑技术4.1拉普拉斯平滑4.2古德图灵(GoodTuring)平滑4.3组合
皮卡丘的忧伤·2023-09-28 04:02

第二十二章

赵吴结结巴巴的说
月球上的小作家·2023-09-28 04:12

linux es head插件,ES安装插件(elasticsearch-head)

：命令行bin/elasticsearch-plugininstall[plugin_name]#bin/elasticsearch-plugininstallanalysis-smartcn安装中文分词器第二种
爆燃·火星·2023-09-27 23:09

Java-使用ELK搭建日志管理系统

1、安装elasticsearch+kibana2、Helm3-安装带有ik分词的ElasticSe
·2023-09-27 20:09

《玄木》第5章：黑雾森林

突然看到叶玄在此，宁璇惊恐万状，结巴地说：“你？你怎么比我还要早到？”“你这小人小胳膊小腿的，怎么可能比我早？”叶玄笑了笑说。“这么说，你没看到我留给你的纸条？”“纸条？什么纸条？”叶玄自然是知道的
骆鑫·2023-09-27 16:44

2022清华暑校笔记之L1_NLP和Bigmodel基础

2022清华大学大模型交叉研讨课2022-6-27L11NLP部分NLPTasks词性标注命名实体的识别（省略的现象）共体消减（代词）标注成分之间的依赖关系中文的自动分词运用：搜索引擎中运用NLP匹配query
鸭脖没了·2023-09-27 14:22

利用sentencepiece训练中文分词器，并与LLaMA分词器合并

零、数据下载、处理#!/usr/bin/envpython#-*-coding:utf-8_*-"""@description:搜集多个数据集合并数据集todo"""importglobfromtqdmimporttqdmimportjsonimportjsonimportosfromtqdmimporttqdmfromzhconvimportconvert#===================
u013250861·2023-09-27 14:21

为什么做馒头？

因因为感恩，在加入坚持星球之前，我是一个性格很内向，有一点自卑的姑娘，平时跟别人说话的时候，我就是在旁边默默的听大家说，总担心自己说话会说不好，会结结巴巴，也不知道跟别人说什么。
喜来自律才能自由·2023-09-27 11:05

【python】pytorch包（第五章）RNN循环神经网络 【待填坑】

一、文本处理1.tokenization中英文分词概念解释即将完整的一句话按照一个短语一个短语的进行断句如“我爱学习”-->“我”“爱”“学习”也可以按单个字分词。
GoesM·2023-09-27 09:27

spring cloud 整合elasticsearch 创建索引支持ik中文分词和拼音分词

环境：jdk1.8、springcloudGreenwich.SR6、springboot2.1.9、elasticsearch-7.5.0（整合ik,拼音分词）下载elasticsearch：官网：下载
玖伍小伙子·2023-09-27 08:05

debian 10 buster 安装配置 elastic search 和 中文, 拼音分词

debian10buster安装配置es和中文,拼音分词安装测试配置分词IK分词器拼音分词一个完整的动态映射模板(包含geo,pinyin,IK)安装1,安装java8mkdir/usr/java&&tar-zxvfjdk
rainysia·2023-09-27 08:34

Elasticsearch 在bool查询中使用分词器

1.创建索引testsetting和mappings设置了自定义分词映射规则。
IT贫道·2023-09-27 08:02

lesson 6时态：现在完成时2019-07-21

参考：无忧英语51talk梁颖老师的超实用语法20讲在线课程第6课lesson6时态：现在完成时形式：have/has+done(过去分词）用法：1.总结持续到目前的动作或事情。
刘志富Tony·2023-09-27 04:07

huggingface加载预训练模型部分API笔记

1.加载预训练模型的词表和tokenizer#huggingface使用fromtransformersimportBertTokenizer#加载预训练字典和分词方法，本地路径tokenizer=BertTokenizer.from_pretrained
失眠的树亚·2023-09-26 23:30

基于bert-base-chinese的二分类任务

使用hugging-face中的预训练语言模型bert-base-chinese来完成二分类任务，整体流程为：1.定义数据集2.加载词表和分词器3.加载预训练模型4.定义下游任务模型5.训练下游任务模型
失眠的树亚·2023-09-26 23:30

7.25

今天终于找到了点状态，也开始夸人了，但是夸得结结巴巴地，不过夸小朋友还是挺顺口了，还有依然是遇阻后不够坚持，过早的就放弃了。
a55f18adbc82·2023-09-26 23:36

结节

右胸肿胀着，此起彼伏得疼痛，像一辆呼啸而来的火车横穿身体，载满了结结巴巴的心事。没吵赢的架，想起来就痛恨自己发挥失常，拨出去的电话，对面却始终无人接听，对远方的牵挂，也在拉扯消耗着自我。
笨NANA·2023-09-26 16:55

副动词 vs 过去分词

1:副动词是动态的，用来描述时间进行貌，而过去分词为静态，表状态或者变化结果。
小蜗牛Tina·2023-09-26 14:44

《狂飙》“戏中戏”实在精彩！这部剧里的每个人物都好会“演”！

程程从惊讶、尴尬到茫然不知所措，就连说话都开始结巴。她先向泰叔表明自己什么都不会，接管工程肯定不如高启强得心应手。又转头向高启强强调对泰叔的决定事先并不知情，愿意和高
懿轮明月·2023-09-26 13:17

Python爬虫爬取豆瓣电影短评（爬虫入门，Scrapy框架，Xpath解析网站，jieba分词）

声明：以下内容仅供学习参考，禁止用于任何商业用途很久之前就想学爬虫了，但是一直没机会，这次终于有机会了主要参考了《疯狂python讲义》的最后一章首先安装Scrapy：pipinstallscrapy然后创建爬虫项目：scrapystartproject项目名然后项目里面大概是长这样的：__pycache__是python缓存，可以不管scrapy.cfg是scrapy框架自带的配置文件，这个项目
cqbzcsq·2023-09-26 08:15

空悲切

顾昀表情很严肃，结巴地说道：“小雅……我们分手吧”。许筱雅说：“好”。然后她转过身潇洒的走了。她心想，我的第四个男朋友也和我分手了，看来我真的是要孤独终老了。
仙女羊·2023-09-26 07:06

java分词索引_Elasticsearch (1) - 索引库 文档 分词

创建索引库es的索引库是一个逻辑概念，它包括了分词列表及文档列表，同一个索引库中存储了相同类型的文档。它就相当于mysql中的表，或相当于mongodb中的集合。
weixin_39931101·2023-09-25 23:52

11-ElasticSearch-快速入门-创建索引库

3.1创建索引库ES的索引库是一个逻辑概念，它包括了分词列表及文档列表，同一个索引库中存储了相同类型的文档。它就相当于MySQL中的表，或相当于Mongodb中的集合。
minihuabei·2023-09-25 23:20
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他