ElasticSearch学习

elasticsearch学习笔记（三十四）——Elasticsearch 基于scoll技术滚动搜索大量数据

在实际应用中，通过from+size不可避免会出现深分页的瓶颈，那么通过scoll技术就是一个很好的解决深分页的方法。比如如果我们一次性要查出10万条数据，那么使用from+size很显然性能会非常的差，priorityqueue会非常的大。此时如果采用scroll滚动查询，就可以一批一批的查，直到所有数据都查询完。scroll原理scoll搜索会在第一次搜索的时候，保存一个当时的视图快照，之后只
郑国·2019-05-01 00:00

elasticsearch学习笔记（三十三）——Elasticsearch Bouncing Results问题

想象一下有两个文档有同样值的时间戳字段，搜索结果用timestamp字段来排序。由于搜索请求是在所有有效的分片副本间轮询的，那就有可能发生主分片处理请求时，这两个文档是一种顺序，而副本分片处理请求时又是另一种顺序。这就是所谓的bouncingresults问题:每次用户刷新页面，搜索结果表现是不同的顺序。让同一个用户始终使用同一个分片，这样可以避免这种问题，可以设置preference参数为一个特
郑国·2019-05-01 00:00

elasticsearch学习笔记（三十一）——Elasticsearch doc value正排索引

在我们搜索的时候，要依靠倒排索引，但是当我们排序的时候，需要依靠正排索引。通过倒排索引锁定文档document之后，看到每个document的每个field，然后进行排序，所谓的正排索引就是docvalues。对于ES而言，在建立索引的时候，一方面会建立倒排索引，以供搜索使用；一方面会建立正排索引，也就是docvalues,以供排序，聚合，过滤等使用。docvalues是被保存在磁盘上的，此时如果
郑国·2019-05-01 00:00

elasticsearch学习笔记（三十）——Elasticsearch 相关度评分 TF&IDF算法

Elasticsearch的相关度评分（relevancescore）算法采用的是termfrequency/inversedocumentfrequency算法，简称为TF/IDF算法。算法介绍relevancescore算法，简单来说就是，就是计算出一个索引中的文本，与搜索文本，它们之间的关联匹配程度。TF/IDF算法，分为两个部分，IF和IDFTermFrequency(TF):搜索文本中的
郑国·2019-05-01 00:00

elasticsearch学习笔记（二十八）——Elasticsearch 实战各种query搜索

各种query搜索语法match_allGET/{index}/_search{"query":{"match_all":{}}}matchGET/{index}/_search{"query":{"match":{"FIELD":"TEXT"}}}multimatchGET/{index}/_search{"query":{"multi_match":{"query":"","fields":[
郑国·2019-04-30 00:00

elasticsearch学习笔记（二十七）——Elasticsearch filter与query

filter和query示例PUT/employee/_doc/1{"address":{"country":"china","province":"jiangsu","city":"nanjing"},"name":"tom","age":30,"join_date":"2016-01-01"}PUT/employee/_doc/2{"address":{"country":"china","p
郑国·2019-04-30 00:00

elasticsearch学习笔记（二十四）——Elasticsearch query string语法以及_all元数据原理

1、querystring语法GET/test_index/_search?q=test_field1:updateGET/test_index/_search?q=+test_field1:update{"took":7,"timed_out":false,"_shards":{"total":5,"successful":5,"skipped":0,"failed":0},"hits":{"t
郑国·2019-04-27 00:00

elasticsearch学习笔记（二十六）——Elasticsearch query DSL搜索实战

下面先解释一下ES的GET+requestbody这种模式一般我们知道HTTP协议一般是不允许get请求带上requestbody，但是因为get更加适合描述查询数据的操作，因此还是这么用了。碰巧当前很多浏览器或是服务器也都支持GET+requestbody模式如果遇到不支持的场景，也可以用POST+requestbody模式.1、一个例子让你明白什么是queryDSLGET/website/_s
郑国·2019-04-27 00:00

elasticsearch学习笔记（二十五）——Elasticsearch mapping详解以及索引内部原理

下面先简单描述一下mapping是什么？当我们插入几条数据，让ES自动为我们建立一个索引PUT/website/_doc/1{"post_date":"2017-01-01","title":"myfirstarticle","content":"thisismyfirstarticleinthiswebsite","author_id":11400}PUT/website/_doc/2{"pos
郑国·2019-04-27 00:00

elasticsearch学习笔记（二十三）——Elasticsearch 分页搜索以及深分页性能问题

在实际应用中，分页是必不可少的，例如，前端页面展示数据给用户往往都是分页进行展示的。1、ES分页搜索Elasticsearch分页搜索采用的是from+size。from表示查询结果的起始下标，size表示从起始下标开始返回文档的个数。示例：GET/test/_search?from=0&size=1{"took":4,"timed_out":false,"_shards":{"total":1,
郑国·2019-04-27 00:00

elasticsearch学习笔记（二十二）——Elasticsearch multi-index搜索模式以及搜索原理

先说明一下，低版本的ES一个index是支持多type的，所以就有multi-type这一种搜索模式，这里不做详细讲解，因为和multi-index搜索模式是基本一样的。而且高版本的ES会弃用type。1、multi-index搜索模式/_search:所有索引下的所有数据都搜索出来GET/_search/{index}/_search：指定一个index,搜索这个索引下的所有数据GET/test
郑国·2019-04-26 00:00

ElasticSearch学习4- 操作文档的步骤顺序

1.路由当索引一个文档的时候，文档会被存储到一个主分片中。Elasticsearch如何知道一个文档应该存放到哪个分片中呢？当我们创建文档时，它如何决定这个文档应当被存储在分片1还是分片2中呢？首先这肯定不会是随机的，否则将来要获取文档的时候我们就不知道从何处寻找了。实际上，这个过程是根据下面这个公式决定的：shard=hash(routing)%number_of_primary_shardsr
压力山真大·2019-04-25 20:26

elasticsearch学习笔记

阅读更多一、概念ElasticSearch（下面简称ES）是一个开源的、基于ApacheLucene的、分布式的实时分析搜索引擎。其设计理念就是可以从不同的数据源获取数据，进行实时的检索和分析。二、使用curl命令创建和搜索索引curl是利用URL语法在命令行方式下工作的开源文件传输工具。它被广泛应用在Unix、多种Linux发行版中，并且有DOS和Win32、Win64下的移植版本。参考地址：h
taoxingtianxia·2019-04-25 20:00

elasticsearch学习笔记

阅读更多一、概念ElasticSearch（下面简称ES）是一个开源的、基于ApacheLucene的、分布式的实时分析搜索引擎。其设计理念就是可以从不同的数据源获取数据，进行实时的检索和分析。二、使用curl命令创建和搜索索引curl是利用URL语法在命令行方式下工作的开源文件传输工具。它被广泛应用在Unix、多种Linux发行版中，并且有DOS和Win32、Win64下的移植版本。参考地址：h
taoxingtianxia·2019-04-25 20:00

elasticsearch学习笔记（二十一）——Elasticsearch _search结果的含义以及timeout机制

我们如果发出一个搜索请求的话，会拿到一堆搜索结果GET/test/_search{"took":1,"timed_out":false,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0},"hits":{"total":{"value":2,"relation":"eq"},"max_score":1.0,"hits":[{"_i
郑国·2019-04-23 00:00

elasticsearch学习笔记（二十）——Elasticsearch bulk api的奇特json格式与底层性能优化关系

bulkapi奇特的json格式{"action":{"meta"}}n{"data"}n{"action":{"meta"}}n{"data"}n...为什么bulk要采用这种奇特的json格式？由于bulk中的每个操作都可能要转发到不同的node的shard去执行，假设我们不用这种奇特的json格式，采用比较良好的json数组格式，允许任意的换行，整个可读性非常棒，读起来很爽。但是ES拿到这种
郑国·2019-04-22 00:00

Elasticsearch学习(二)——常用插件安装

在前一篇文章中，我们讲解了elasticsearch的基本概念和安装教程，对elasticsearch的基本功能有了一定的了解，对它的基本用途有了基本的知晓。今天我们讲解一下elasticsearch中插件的使用，我们知道在elasticsearch中提供了很多的插件，包括官方的和其他第三方社区开发的插件。正是通过这些丰富的插件，elasticsearch的功能才变得更加丰富和好用。一、Elast
Anumbrella·2019-04-21 22:44

elasticsearch学习笔记（十九）——Elasticsearch document查询内部原理

下面直接点，先描述一下一个查询请求打过来Elasticsearch内部做了什么。（1）客户端发送请求到任意一个node，这个node就成为了协调节点coordinatingnode（2）协调节点coordinatingnode会对document进行路由，将请求转发到包含该document的对应的node上面去，此时会使用round-robin随机轮询算法，在primaryshard以及所有的re
郑国·2019-04-21 00:00

elasticsearch学习笔记（十八）——Elasticsearch document增删改内部原理，写一致性机制

1、Elasticsearch增删改内部原理下面直接点，先描述一下一个增删改请求打过来Elasticsearch内部做了什么。如图（1）对于客户端首先会选择一个节点node发送请求过去，这个节点node就是协调节点coordinatingnode（2）协调节点coordinatingnode会对docuemnt数据进行路由，将请求转发给对应的node（含有primaryshard）（3）实际上no
郑国·2019-04-21 00:00

elasticsearch学习笔记（十七）——Elasticsearch document数据路由原理以及主分片的不可变

1、Elasticsearchdocument数据路由原理我们知道，一个index的数据会被分成多个分片shard，所以说一个document只能存在与一个shard中。当客户端创建document的时候，elasticsearch此时就需要决定这个document是放在这个index的哪个分片shard中,这个过程就称之为documentrouting，即数据路由。2、document数据路由算
郑国·2019-04-20 00:00

elasticsearch学习笔记（十四）——Elasticsearch partial update实现原理和实践

首先来讲一下为什么会有partialupdate。在之前对于创建文档和更新替换文档的格式都是：PUT/{index}/{type}/{id}{}一般对应到应用程序中，每次的执行流程基本都是这样的：（1）应用程序先发起一个get请求，获取到document，展示到前台界面，供用户查看和修改（2）用户在前台界面修改数据，发送到后台（3）后台代码会将用户修改的数据在内存中进行执行，然后封装好修改后的全量
郑国·2019-04-20 00:00

elasticsearch学习笔记（十三）——Elasticsearch乐观锁并发控制实战

1、elasticsearch基于_version（新版本更新为if_seq_no和if_primary_term）进行乐观锁的并发控制（1）先构造一条数据PUT/test_index/_doc/1{"test_field":"testtest"}（2）模拟两个客户端都获取到同一条数据GET/test_index/_doc/1（3）其中一个客户端先更新了一下这个数据PUT/test_index/_
郑国·2019-04-20 00:00

elasticsearch学习笔记（十六）——Elasticsearch mget批量查询api实战

首先说明一下为什么需要批量查询操作？假设一下比如说我们没有批量查询的操作，那么当我们获取数据的时候，就是一条一条的查询。设想一下我们要获取100条数据，那么就要发送100次请求，这个开销时很大的。但是有了批量查询的话，查询100条数据，就只需要发送一次网络请求就可以了，网络请求的性能开销缩减100倍。下面是实战部分，演示一下一条一条查询与批量查询：（1）一条一条查询GET/test_index/_
郑国·2019-04-20 00:00

elasticsearch学习笔记（十五）——Elasticsearch partial update内置乐观锁并发控制

Elasticsearchpartialupdate内置了乐观锁并发控制机制。同样是基于_version（新版本更新为if_seq_no和if_primary_term）进行乐观锁的并发控制。详细请看：https://segmentfault.com/a/11...这里多提一点就是使用partialupdate有一个参数叫retry_on_conflict，也就是可以基于retry策略:我们回顾一
郑国·2019-04-20 00:00

elasticsearch学习笔记（十二）——Elasticsearch并发冲突问题以及锁机制

1、Elasticsearch并发冲突问题对于一般的ES操作流程是：1、先getdocument数据,比如获取到商品数据，将数据显示到网页上，同时在内存中缓存该documentd的数据2、当网页发生了购买后，直接基于内存中的数据，进行计算和操作3、将计算后的结果写回ES中下面描述一下场景比如在电商场景下，假设说，我们有一个程序，工作流程如下：1、读取商品的信息2、用户下单购买3、更新商品信息（主要
郑国·2019-04-19 00:00

elasticsearch学习笔记（十一）——document的核心元数据、操作以及原理

先展示一个document数据结构GET/product/_doc/1{"_index":"product","_type":"_doc","_id":"1","_version":1,"_seq_no":0,"_primary_term":1,"found":true,"_source":{"name":"gaolujieyagao","desc":"gaoxiaomeibai","price"
郑国·2019-04-19 00:00

乐优商城学习笔记九-Elasticsearch学习（一）

title:乐优商城学习笔记十-Elasticsearch学习（一）date:2019-04-1809:9:18tags:-乐优商城-java-springboot-Elasticsearchcategories
smallmartial·2019-04-18 11:23

乐优商城学习笔记九-Elasticsearch学习（一）

title:乐优商城学习笔记十-Elasticsearch学习（一）date:2019-04-1809:9:18tags:-乐优商城-java-springboot-Elasticsearchcategories
smallmartial·2019-04-18 11:00

elasticsearch学习笔记（十）——Elasticsearch横向扩容过程与容错机制

下面简单描述一下Elasticsearch横向扩容过程与容错机制1、横向扩容过程对于ES默认创建的索引有10个shard,其中有5个是primaryshard，5个是replicashard。在ES内部会自动做一些事情：（1）primaryshard&replicashard会自动负载均衡。均匀的分布在各个节点（2）保持每个节点node拥有更少的shard，IO/CPU/Memory资源给每个sh
郑国·2019-04-17 00:00

elasticsearch学习笔记（九）——shard&replica机制以及ES集群节点的问题

1、shard和replica知识归纳梳理（1）一个index包含多个shard（2）每个shard都是一个最小工作单元，承载部分数据，可以说就是一个lucene实例，拥有完整的建立索引和处理请求的能力（3）每当ES集群增加节点时，shard会自动在nodes中实现负载均衡（4）对于primaryshard和replicashard，每个document肯定只存在于某一个primaryshard以
郑国·2019-04-17 00:00

elasticsearch学习笔记（八）——剖析Elasticsearch的基础分布式架构

下面来一步一步分析Elasticsearch的基础分布式架构1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式系统，它隐藏了复杂的分布式机制，可以应对大数据。像分片机制：我们可以随随便便就将一些document插入到es集群中去，不需要关心数据是怎么进行分片的，数据到哪个shard中去clusterdiscovery：集群发现机制shard负载均衡：
郑国·2019-04-17 00:00

elasticsearch学习笔记（六）——快速入门案例实战之电商网站商品管理：多种搜索方式

简单介绍一下ES的多种搜索方式1、querystringsearch格式：GET/{index}/_searchGET/product/_search{"took":1,"timed_out":false,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0},"hits":{"total":{"value":2,"relation"
郑国·2019-04-16 00:00

elasticsearch学习笔记（七）——快速入门案例实战之电商网站商品管理：嵌套聚合，下钻分析，聚合分析

为了描述ES是如何进行嵌套聚合、下钻分析，聚合分析。下面通过五个业务需求来进行描述。1、计算每个tag下的商品数量由于tag是一个数组，所以其实统计的就是针对tag数组中的每个值，所有文档中tag字段中包含这个值的文档数量。GET/product/_search{"size":0,"aggs":{"all_tags":{"terms":{"field":"tags","size":10}}}}{"
郑国·2019-04-16 00:00

elasticsearch学习笔记（五）——快速入门案例实战电商网站商品管理：集群健康检查，文档的CRUD

elasticsearch和kibana都已经安装和启动了，下就开始进行实战了1、document数据格式首先来讲一下ES为什么面向文档以及面向文档的好处。（1）一般应用系统的数据结构都是面向对象的，结构复杂，操作起来特别不方便。如果将对象数据存储到数据库中，只能拆解开来，变为扁平的多张表，每次查询的时候还得还原回对象格式，相当的麻烦。（2）ES是面向文档的，文档中存储的数据结构，与面向对象的数据
郑国·2019-04-16 00:00

elasticsearch学习笔记（四）——在windows上安装和启动Elasticsearch

下面先用windows作为开发环境，之后开发采用linux操作系统：windows10JDK版本：1.8.0_201elasticsearch:7.0.0kibana:7.0.01、安装JDK（1）下载JDK下载地址：https://www.oracle.com/techne...选择对应版本即可（2）配置环境变量1、创建JAVA_HOME变量选择自己的安装目录即可，我的是D:ProgramFil
郑国·2019-04-16 00:00

elasticsearch学习笔记（三）——Elasticsearch的核心概念

下面来通过lucene引出Elasticsearch的核心概念1、lucene和elasticsearch的前世今生lucene是最先进、功能强大的搜索库。但是直接基于lucene开发，会非常的复杂。它的api很复杂，只是实现一些简单的功能，可能就需要写大量的java代码。要用好lucene，需要深入了解其内部原理，包括各种索引结构。而elasticsearch，它是基于lucene，隐藏了luc
郑国·2019-04-16 00:00

elasticsearch学习笔记（二）——elasticsearch的功能、适用场景以及特点介绍

学习了什么是Elasticsearch之后，针对工程而言，我们更加关心的是Elasticsearch它能干什么？能在什么地方发挥作用？跟其它类似的东西相比它不同的地方在哪里?归纳起来就是Elasticsearch在什么场景下，相比于其他类似的技术而言，它更适合做什么1、Elasticsearch的功能（1）分布式的搜索引擎和数据分析引擎搜索：百度，网站的站内搜索，IT系统的检索数据分析：电商网站，
郑国·2019-04-15 00:00

elasticsearch学习笔记（一）——大白话告诉你什么是elasticsearch

什么是elasticsearch？wiki上面的解释是：ElasticsearchisasearchenginebasedontheLucenelibrary.Itprovidesadistributed,multitenant-capablefull-textsearchenginewithanHTTPwebinterfaceandschema-freeJSONdocuments.即：Elast
郑国·2019-04-15 00:00

《elasticsearch学习》一、Windows安装执行elasticsearch、head插件和配置简单集群

《elasticsearch学习》一、Windows安装执行elasticsearch、head插件和配置简单集群：一、安装ES：官网下载最新版：https://www.elastic.co/downloads
ailo555·2019-03-11 15:09

【ElasticSearch学习】环境搭建

正文1.下载ElasticSearch网址：https://www.elastic.co/downloads/elasticsearch目前最新版本的软件是6.3.2，我这里下载的是zip的压缩包2.ElasticSearch的安装与测试将下载好的软件解压到目录，依次打开elasticsearch-6.3.2\bin\，然后双击elasticsearch.bat即可完成ElasticSearch的
liudongdong19·2019-02-01 22:49

学习笔记 | ElasticSearch学习笔记(基础)

前言本文是之前做ElasticSearch技术测试时的笔记，时间比较久远了，如有错误请指正~安装官网：https://www.elastic.co/downloads/elasticsearchcurl-L-Ohttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.tar.gz5.5.1版本必须是jdk1.8
LY丶Smile·2019-01-21 22:29

ElasticSearch学习笔记

Elasticsearch学习笔记文章目录Elasticsearch学习笔记一、概述Elasticsearch是什么Elasticsearch的应用场景二、基本概念RESTful介绍Elasticsearch
IT小浣熊·2019-01-07 23:50

【原】无脑操作：ElasticSearch学习笔记（01）

开篇来自于经典的“保安的哲学三问”（你是谁，在哪儿，要干嘛）问题一、ElasticSearch是什么？有什么用处？答：截至2018年12月28日，从ElasticSearch官网（https://www.elastic.co/cn/products）上，得知：ElasticSearch是基于JSON的分布式搜索和分析引擎，专为实现水平扩展、高可靠性和管理便捷性而设计。用于搜索、分析和存储您的数据。
{name:"代码屠夫"}·2018-12-31 00:00

Elasticsearch学习笔记 - 05: 配置安全选项

ElasticSearch提供了安全功能，可以使用密码保护你的数据，或者更高级的安全措施，如加密通信，基于角色的访问控制，IP过滤和审计。1.确认使用了带有安全功能的许可证2.安全功能提供三十天免费试用，之后想要继续使用需要购买许可证。3.需要在同一集群中的每个节点上设置安全选项，默认为false，开启是true4.为节点间通信配置传输层安全性（TLS/SSL）·为每个Elasticsearch节
我请你们喝三鹿·2018-12-28 15:20

Elasticsearch学习笔记 - 03: 配置监控和安全选项

参考文档https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.htmlConfiguringmonitoringinElasticSearch部分收集监控数据如果在集群中启用监视功能，默认情况下，启用监控但禁用数据收集配置集群以收集监控数据：验证集群中每个节点的xpack.moni
我请你们喝三鹿·2018-12-24 10:30

Elasticsearch学习笔记 - 01: Quick start

参考文档https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html全文搜索属于最常见的需求，开源的Elasticsearch（以下简称Elastic）是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据Elastic的底层是开源库Lucene。但是，你没法直接用Lucene，必须
我请你们喝三鹿·2018-12-18 22:45

阿里架构师技术分享：分布式/高性能/高并发/微服务/性能优化

分布式任务调度系统的实现阿里架构师技术分享：承载千万级并发的分布式架构设计思想阿里架构师技术分享：并发编程之手写阻塞式线程安全队列阿里架构师技术分享：面试必问之mysql索引机制探秘阿里架构师技术分享：ElasticSearch
javaxuexi123·2018-11-28 16:59

Elasticsearch知识点总结

本文是自己在Elasticsearch学习过程中的知识结构总结，这样对Elasticsearch有一个全貌的认识，具体的细节点和开发可参考本文找对应的资料。一、什么的Elasticsearch？
meihao5·2018-10-29 18:42

乐优商城（十六）Elasticsearch学习笔记

Repository文档操作2.1新增文档2.2批量新增2.3修改文档2.4基本查询2.5自定义方法三、高级查询3.1基本查询3.2自定义查询3.3分页查询3.4排序四、聚合4.1聚合为桶4.2嵌套聚合，求均值Elasticsearch
Black~Hole·2018-10-10 12:28

乐优商城（十五）Elasticsearch学习笔记

Elasticsearch学习笔记（一）目录一、操作索引1.1基本概念1.2创建索引1.3查询索引1.4删除索引1.5映射配置1.5.1创建映射字段1.5.2查看映射关系1.5.3字段属性详解1.6新增数据
Black~Hole·2018-10-10 10:46
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他