elasticsearch学习

ES-LTR粗排模块

ES-LTR粗排模块官方资源：https://github.com/HeiBoWang/elasticsearch-learning-to-rankElasticsearch学习排名插件使用机器学习提高搜索相关性排名
poins·2024-03-29 06:38

ElasticSearch学习笔记

ElasticSearch一、初识ES1.什么是ElasticSearch？ES的概念：ElasticSearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。ElasticSearch结合Kibana、LogStach、Beats，也就是ElasticStack（ELK）。被广泛应用在日志数据分析、实时监控等领域。ES的发展：Lucene是一个Java语言的搜索引擎类
重生之Java再爱我一次·2024-02-19 20:15

ElasticSearch学习笔记(3)——聚合

前言ES中的聚合功能类似于数据库中groupby语句，但是功能更为强大。1.概念SELECTCOUNT(color)//指标FROMtableGROUPBYcolor//桶1.1桶(Buckets)：满足特定条件的文档集合1.2指标(Metrics)：桶内文档的统计计算2.基本语法2.1例子1{"size":0,"aggs":{//第一个桶"colors":{//指定桶名称"terms":{//指
iwill_5b2f·2024-02-10 05:58

【Elasticsearch学习笔记-基础篇2】Elasticsearch倒排索引、分析及打分

前言【Elasticsearch学习笔记-基础篇1】Elasticsearch介绍及设计概念在之前的一篇文章中，简单介绍了es的设计和相关概念，这一篇来介绍一下es中实操方面相关概念的引申——在索引和搜索文档的时候
amber_0515·2024-02-06 07:25

ElasticSearch学习总结（二）：ES介绍与架构说明

本文主要从概念以及架构层面对Elasticsearch做一个简单的介绍，在介绍ES之前，会先对ES的“发动机”Lucene做一个简单的介绍1.Lucene介绍为了更深入地理解ElasticSearch的工作原理，特别是索引和查询这两个过程，理解Lucene的工作原理至关重要。本质上，ElasticSearch是用Lucene来实现索引的查询功能的。1.1定义Lucene是一个成熟的、高性能的、可扩
额 无语·2024-02-06 07:23

ElasticSearch 8.x 使用 High Level Client 以 HTTPS 方式链接，SSL 证书、主机名验证器 各是什么，如何忽略

ElasticSearch1、ElasticSearch学习随笔之基础介绍2、ElasticSearch学习随笔之简单操作3、ElasticSearch学习随笔之javaapi操作4、ElasticSearch
YPhen·2024-02-06 06:06

elasticsearch学习六：学习 全文搜索引擎 elasticsearch的语法，使用kibana进行模拟测试（持续更新学习）

文章目录前言一、基本概念1.Node节点与Cluster集群2.Index索引3.Document文档4.Type类型5.逻辑对比6.物理设计二、ES的命令风格三、新建和删除index索引四、分词器使用和学习1.理论学习2.使用kibana测试五、数据操作1.创建索引2.字段类型总结3.查看规则信息4.系统命令5添加数据6.修改数据a.PUT修改（不推荐）b._update修改（推荐）7.删除7.
java冯坚持·2024-02-04 10:39

ElasticSearch 8.x 使用 snapshot（快照）进行数据迁移

ElasticSearch1、ElasticSearch学习随笔之基础介绍2、ElasticSearch学习随笔之简单操作3、ElasticSearch学习随笔之javaapi操作4、ElasticSearch
YPhen·2024-01-30 08:47

ElasticSearch 8.x 版本如何使用 SearchRequestBuilder 检索

ElasticSearch1、ElasticSearch学习随笔之基础介绍2、ElasticSearch学习随笔之简单操作3、ElasticSearch学习随笔之javaapi操作4、ElasticSearch
YPhen·2024-01-30 08:47

Elasticsearch学习笔记之（四）搜索详解

目录搜索API搜索API端点地址URISearch查询结果说明特殊的查询参数用法RequestbodySearchquery元素定义查询指定返回哪些内容ScriptField用脚本来对命中的每个文档的字段进行运算后返回过滤sort排序sort折叠分页高亮Profile为了调试、优化countapivalidateapiExplainapiSearchShardsAPISearchTemplateQ
G探险者·2024-01-28 09:41

ElasticSearch学习笔记 | Match和Match_phrase匹配搜索

https://www.bilibili.com/video/BV1py4y1r7Ar?p=12&spm_id_from=pageDriver本文测试数据为官方提供的测试数据，导入方法在学习笔记本章节第一篇中：https://blog.csdn.net/qq_20051535/article/details/113242821一、基本类型（非字符串），精确匹配查询account_number是20
barnett_y·2024-01-28 06:35

Elasticsearch学习笔记(15) - 相关性算分

简介在Elasticsearch中，相关性算分描述了一个文档和查询语句的匹配程度。Elasticsearch会对每个匹配查询条件的结果进行相关性分数的计算，即：_score。算分的本质是为了排序，需要把最符合用户需求的文档排列在最前面。在Elasticsearch5.0以前，默认的相关性算分为TF-IDF。5.0及之后的版本采用的是BM25。词频-TF词频，英文缩写为TF，英文全写为TermFre
juconcurrent·2024-01-27 12:50

Elasticsearch学习笔记(03) - 基本概念：文档、索引和REST API

前言Elasticsearch有一些基本概念，包括：文档、索引、节点和分片，等等。文档和索引更多是偏向于开发，而节点和分片更多是偏向于运维。在本文中，我们主要讨论文档和索引相关的概念。文档文档，是Elasticsearch可搜索的最小单元，包含一系列字段。文档最终是序列化成JSON的格式。每个文档都有一个唯一id，字段名为_id。文档支持的数据类型可以为字符串、数字、数组和对象，其中数组和对象可以
juconcurrent·2024-01-23 08:34

ElasticSearch学习之一：基础知识+单节点/集群搭建

一、ES相关知识ES基于RESTfulweb接口并且构建在Apachelucene之上的开源分布式搜索引擎。同时ES是一个分布式文档数据库，每个字段均可被索引、每个字段数据均可被搜索，能够横向扩展数以百计的服务器存储以及处理PB级的数据。1.可以在极短时间内存储、搜索和分析大量的数据2.通常作为具有复杂搜索场景下的核心发动机ES高可用且高扩展。一方面同升级硬件完成系统扩展，称为垂直或向上扩展，另一
HackQ_sxj·2024-01-18 08:39

Elasticsearch学习（六）在springboot中使用聚合查询

文章目录前言一、基本概念桶（Buckets）指标（Metrics）聚合（Aggregations）二、建立索引1、创建实体类2、创建索引3、存入数据三、聚合查询1、简单聚合2、条件聚合3、嵌套指标4、嵌套聚合5、嵌套聚合嵌套指标
_lrs·2024-01-15 11:46

ElasticSearch 8.x 弃用了 High Level REST Client，移除了 Java Transport Client，推荐使用 Elasticsearch Java API

ElasticSearch1、ElasticSearch学习随笔之基础介绍2、ElasticSearch学习随笔之简单操作3、ElasticSearch学习随笔之javaapi操作4、ElasticSearch
YPhen·2024-01-13 09:07

ElasticSearch 7.x 版本使用 BulkProcessor 实现批量添加数据

ElasticSearch1、ElasticSearch学习随笔之基础介绍2、ElasticSearch学习随笔之简单操作3、ElasticSearch学习随笔之javaapi操作4、ElasticSearch
YPhen·2024-01-13 09:32

【超容易理解】Elasticsearch学习笔记

安装安装docker，步骤略安装elasticsearchdockerpullelasticsearch:7.4.2安装kibanadockerpullkibana:7.4.2挂载目录，修改目录权限mkdir-p/mydata/elasticsearch/configmkdir-p/mydata/elasticsearch/dataecho"http.host:0.0.0.0">>/mydata/
三万少女的梦中刺客·2024-01-08 08:35

ElasticSearch学习笔记（含SpringBoot整合）

ElasticSearch笔记文章目录ElasticSearch笔记带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？（2）传统数据库的应对解决方案（3）非关系型数据库的解决方案另辟蹊径——完全把数据放入内存怎么样？一、ES基础一网打尽1.1ES定义1.2Lucene与ES关系？1.3ES主要解决问题：1.4ES工作原理1.5ES核心概念1）Cluster：集群。2）Node：节点
是渣渣呀·2024-01-07 17:57

Elasticsearch学习笔记4：Springboot整合ES

一、编写ES配置类importorg.springframework.context.annotation.Bean;importorg.springframework.context.annotation.Configuration;//Spring两步骤：//1、找对象//2、放到spring中待用@ConfigurationpublicclassElasticSearchClientConf
Vincent9847·2024-01-07 17:54

ElasticSearch学习笔记-相关度得分记录

最近想要修改调整一下ElasticSearch里面Doc的Score，于是在ES官网查阅了一下，相关的介绍和说明还是非常详细的，能做的修改调整也还是比较多的，需要根据具体的情形去选择相应的方式做合适的调整修改，这里做个简单的记录，以便后续使用方便。相关解释描述可以参考连接：https://www.elastic.co/guide/cn/elasticsearch/guide/current/con
人生偌只如初见·2024-01-07 13:26

ElasticSearch学习笔记-集群安装部署

集群版本：elasticsearch-2.4.6.tar.gz集群节点：centos.master192.168.10.10centos.slave1192.168.10.11centos.slave2192.168.10.12配置文件elasticsearch.yml：cluster.name:elasticsearchnode.name:masternode.master:truenode.d
人生偌只如初见·2024-01-07 13:56

ElasticSearch学习笔记-同义词记录

同义词扩大了一个匹配文件的范围。正如词干提取或者部分匹配，同义词的字段不应该被单独使用，而应该与一个针对主字段的查询操作一起使用，这个主字段应该包含纯净格式的原始文本。第一种实现方式：同义词可以取代现有的语汇单元或通过使用同义词语汇单元过滤器，添加到语汇单元流中。首先，我们定义了一个同义词类型的语汇单元过滤器。然后我们创建了一个使用同义词类型的语汇单元过滤器的自定义分析器。PUThttp://lo
人生偌只如初见·2024-01-07 13:56

ElasticSearch学习笔记-邻近匹配搜索记录

ElasticSearch版本：elasticsearch-7.3.0环境准备：curl-H"Content-Type:application/json"-XPUT'http://192.168.0.1:9200/article/'-d'{"settings":{"analysis":{"analyzer":{"shingle_analyzer":{"type":"custom","tokeniz
人生偌只如初见·2024-01-07 13:26

ElasticSearch学习笔记-ngram、中文拼音、简繁体搜索记录

ElasticSearch版本：elasticsearch-7.3.0ElasticSearch相关插件安装可以参考：ElasticSearch学习笔记-插件安装记录_人生偌只如初见的博客-CSDN博客
人生偌只如初见·2024-01-07 13:55

ElasticSearch学习笔记-SpringBoot整合Elasticsearch7

项目最近需要接入Elasticsearch7，顺带记录下笔记。Elasticsearch依赖包版本7.9.37.9.3org.elasticsearchelasticsearch${elasticsearch.version}org.elasticsearch.clienttransport${elasticsearch.version}org.elasticsearch.clientelasti
人生偌只如初见·2024-01-07 13:21

ElasticSearch学习笔记（二）

通过前面的一阵胡乱操作，显然提升了我的学习兴趣，趁热打铁，接着往下学。还是先看看别人的教程吧。这里我看的是B站上【尚硅谷】的ElasticSearch教程，有兴趣的同学也可以去看看。一、缘起–索引操作看B站上的视频教程，本来是想跟着教程来创建一个索引，结果发现由于我使用的版本和教程中的版本不一致，结果使用postman很难完成像视频教程中一样的操作。创建索引在ES中一个索引就相当于mysql中的一
alfiy·2023-12-31 16:25

Elasticsearch学习

文章目录第1章Elasticsearch概述第2章Elasticsearch入门2.1数据格式2.2倒排索引2.3映射操作第1章Elasticsearch概述  Elaticsearch，简称为ES，ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticStack技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。第2章Elastic
珍珠是蚌的眼泪·2023-12-24 10:33

ElasticSearch学习篇9_文本相似度计算方法现状以及基于改进的 Jaccard 算法代码实现

背景XOP亿级别题库的试题召回以及搜题的举一反三业务场景都涉及使用文本相似搜索技术，学习此方面技术以便更好的服务于业务场景。目前基于集合的Jaccard算法以及基于编辑距离的Levenshtein在计算文本相似度场景中有着各自的特点，为了优化具体的计算时间抖动超时问题，需要学习此方面知识，本文主要内容为文本相似度计算方法的现状、Jaccard、Levenshtein算法实现基本原理以及代码实现论文
scl、·2023-12-23 08:43

ElasticSearch学习篇8_Lucene之数据存储（Stored Field、DocValue、BKD Tree）

前言Lucene全文检索主要分为索引、搜索两个过程，对于索引过程就是将文档磁盘存储然后按照指定格式构建索引文件，其中涉及数据存储一些压缩、数据结构设计还是很巧妙的，下面主要记录学习过程中的StoredField、DocValue以及磁盘BKDTree的一些相关知识。参考：https://juejin.cn/post/6978437292549636132https://juejin.cn/user
scl、·2023-12-18 06:37

Elasticsearch学习

一、设计阶段调优1、根据因为增量需求，采取基于日期末班创建索引，通过rolloverAPI滚动索引2、使用别名进行索引管理3、每天凌晨定时对索引做force_merge操作，以释放空间4、采取冷热分离机制，热数据存储到SSD，提高检索效率；冷数据定期进行shrink操作，以缩减存储5、采用curator进行索引的生命周期管理6、仅针对需要分词的字段，合理的设置分词器7、Mapping阶段充分结合各
CopyLower·2023-12-15 19:07

Elasticsearch学习心得及常见问题

目录1.Elasticsearch和elasticsearch-headr跨域问题2.Elasticsearch的插件ik分词器3.ElasticSearch的核心概念1.分片2.倒排索引(重点，数据库可能会问)3.基本Rest命令说明4.Springboot集成ElasticSearchES基础一网打尽1.1ES定义ES=elaticsearch简写，Elasticsearch是一个开源的高扩展
@逾越·2023-12-15 09:51

ElasticSearch学习笔记（3）· ES高级检索（query）

目录八、ES中高级查询1、查询方式2、测试数据3、URL查询4、DSL查询5、DSL高级查询（Query）查询所有（match_all）查询结果中返回的指定条数（size）分页查询（from）查询结果中返回指定字段（_source）分词查询（match）短语匹配（match_phrase）关键词查询（term）范围查询（range）前缀查询（prefix）通配符查询（wildcard）多id查询（
发抖吧小喵喵·2023-12-04 10:40

ElasticSearch学习笔记1--head插件

1.1Head插件简介ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具，可以对集群进行傻瓜式操作。显示集群的拓扑，并且能够执行索引和节点级别操作搜索接口能够查询集群中原始json或表格格式的检索数据能够快速访问并显示集群的状态有一个输入窗口，允许任意调用RESTfulAPI。这个接口包含几个选项，可以组合在一起以产生有趣的结果；1.2Head插件安装
荆辰曦·2023-12-03 04:45

elasticsearch学习（一）

window下安装使用elasticsearch下载好文件后解压文件，配置配置文件/config/elasticsearch.ymlcluster.name:es_cluster_wq#集群，名称node.name:es_7.3#集权节点名称node.master:true#表示节点是否具有成为主节点的资格node.data:true#表示节点是否存储数据path.data:D:\work\too
那就省略号吧·2023-11-29 21:06

Elasticsearch学习笔记

什么是全文索引大白话：把内容拆分成结构化的文档存储起来然后使用搜索条件去匹配稍微官方一些的理解：全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文检索的方法主要分为按字检索和按词检索两种。按字检索是指对
Final磊·2023-11-28 18:52

ElasticSearch学习笔记（一）

计算机软件的学习，最重要的是举一反三，只要大胆尝试，认真验证自己的想法就能收到事办功倍的效果。在开始之前可以看看别人的教程做个快速的入门，然后去官方网站看看官方的教程，有中文教程固然是好，没有中文教程大家也不要怕，硬着头皮看下去一定有收获本人对ES并不熟悉，虽然十几年前就接触过Lucene，但是无奈当时技术太菜根本就没有深入下去，最近准备认真的研究一下ES，边探索，边记录，可能会有错误的理解，回头
alfiy·2023-11-28 08:41

es ik 词库添加词语_ElasticSearch学习笔记——ik分词添加词库

前置条件是安装ik分词，请参考1.在ik分词的config下添加词库文件~/software/apache/elasticsearch-6.2.4/config/analysis-ik$ls|grepmydic.dicmydic.dic内容为我给祖国献石油2.配置词库路径，编辑IKAnalyzer.cfg.xml配置文件，添加新增的词库3.重启es4.测试data.json{"analyzer":
非流·2023-11-27 20:33

ElasticSearch学习笔记 | 分词、IK分词器和自定义分词

一个tokenizer（分词器）接收一个字符流，将之割为独立的tokens（词元，通常是独立的单词），然后输出tokens流。例如，whitespacetokenizer遇到空白字符时分割文。它会将文本"Quickbrownfox!“分割为[Quick,brown,fox]。该tokenizer（分词器）还负责记录各个term（词条）的顺序或position位置（用于phrase短语和wordpr
程序员麻薯·2023-11-27 20:01

ElasticSearch学习笔记（二）IK分词器和拼音分词器的安装

ElasticSearch是自带分词器的，但是自带的分词器一般就只能对英文分词，对英文的分词只要识别空格就好了，还是很好做的（ES的这个分词器和Lucene的分词器很想，是不是直接使用Lucene的就不知道），自带的分词器对于中文就只能分成一个字一个字，这个显然是不能满足在开发中的要求的。先看看自带的分词器的分词效果（还是使用Sense工具）：POST/_analyze{"analyzer":"s
ncfl·2023-11-27 20:31

Elasticsearch学习笔记--IK中文分词器

如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字，因此引入es之中文的分词器插件es-ik就能解决这个问题。具体参考可以查看：ht
大龄码农生活·2023-11-27 20:31

ElasticSearch学习笔记（4）· ES IK分词器

目录九、IK中文分词器1、在线安装IK中文分词器2、本地安装IK中文分词器3、扩展词4、停用词5、配置远程词典6、分词器总结九、IK中文分词器NOTE：默认ES中采用标准分词器进行分词，这种方式并不适用于中文网站，因此需要修改ES对中文友好分词，从而达到更佳的搜索效果#1、定义：就是将一本文本中关键词拆分出来我是一个博客分词器我是一个博客分词特点：拆分关键词，去掉停用词和语气词#2、ES中提供的分
发抖吧小喵喵·2023-11-27 20:01

ElasticSearch学习笔记:简介&Solr对比&安装&核心概念&IK分词器&ElasticSearch集群

第一章ElasticSearch简介1.1什么是ElasticSearchElaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTfulAPI来隐藏Lucene的复杂性，从
嘿嘿嘿1212·2023-11-27 20:59

Elasticsearch学习笔记-狂神说

目录一、Elasticsearch的安装、kibana、Ik分词器二、Elasticsearch所使用的lucene核心三、Elasticsearch介绍、及和redis、solr的对比四、新建Elasticsearch项目，文档索引的增删改查五、模仿京东搜索、爬虫六、高亮和VUEGitee仓库：狂神-Elasticsearch:跟随狂神视频教程，完成的练习项目-Gitee.com课程地址：1、E
一览众山小-br·2023-11-27 16:35

ElasticSearch学习笔记

ElasticSearchE：EalsticSearch搜索和分析的功能L：Logstach搜集数据的功能，类似于flume（使用方法几乎跟flume一模一样），是日志收集系统K：Kibana数据可视化（分析），可以用图表的方式来去展示，文不如表，表不如图，是数据可视化平台1.索引通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。1.1.正向索引这种组织方法在建立索
sohoAPI·2023-11-27 16:32

ElasticSearch学习笔记（狂神）

ElasticSearch1.介绍本笔记参考狂神说，版本为7.6.2Lucene是一套信息检索工具包（jar包），不含搜索引擎系统ElasticSearch是基于Lucene做了一些封装和增强ElasticSearch和Solr之间的对比：2.入门操作JDK1.8以上，客户端，界面工具版本对应。2.1下载ELK的下载地址ElasticSearch:https://mirrors.huaweiclo
天才小熊猫啊·2023-11-27 16:31

ElasticSearch （ES）万字狂神学习笔记（超详细）

ElasticSearch（ES）万字狂神学习笔记（超详细）ElasticSearch学习笔记全文概述先聊一个人DougCuttingElasticSearch概述ES和solr的差别注意：工具说明下载
aibo_yyds·2023-11-27 16:31

狂神说ElasticSearch学习笔记

1、ElasticSearch概述2、ES与Solr的差别2.1、Solr简介2.2、Lucene简介2.3、ESVSSolr3、ElasticSearch安装下载地址：ElasticSearch:https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=Dlogstash:https://mirrors.huaweicloud.com/logsta
--只因--·2023-11-27 16:00

ElasticSearch学习笔记（狂神说）

ElasticSearch学习笔记（狂神说）视频地址：https://www.bilibili.com/video/BV17a4y1x7zq在学习ElasticSearch之前，先简单了解一下Lucene
笨手笨脚の·2023-11-27 16:59

3.Elasticsearch学习之深度分页、游标查询、以及批量操作

1.深度分页1.分页查询POST/shop/_doc/_search{"query":{"match_all":{}},"from":0,"size":10}2.深度分页深度分页其实就是搜索的深浅度，比如第1页，第2页，第10页，第20页，是比较浅的；第10000页，第20000页就是很深了。使用如下操作：{"query":{"match_all":{}},"from":9990,"size":1
_又菜又爱学·2023-11-26 04:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他