elasticsearch学习

Elasticsearch学习，请先看这一篇！

题记：Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论……0.带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题：1）用什么数据库好？(mysql、sybase、oracle、达梦、
傲剑天涯·2019-11-07 10:08

ElasticSearch学习笔记(1)——基本语法

前言ES权威指南1.Java交互1.1节点客户端（Nodeclient）节点客户端作为一个非数据节点加入到本地集群中。换句话说，它本身不保存任何数据，但是它知道数据在集群中的哪个节点中，并且可以把请求转发到正确的节点。1.2传输客户端（Transportclient）轻量级的传输客户端可以可以将请求发送到远程集群。它本身不加入集群，但是它可以将请求转发到集群中的一个节点上。1.3spring-da
iwill_5b2f·2019-11-06 10:18

Elasticsearch学习笔记（4）

目录搭建Elasticsearch本节包括关于如何设置Elasticsearch并使其运行的信息，包括：下载安装运行配置支持的平台这里提供了官方支持的操作系统和jvm的矩阵SupportMatrix。Elasticsearch在列出的平台上进行了测试，但它也可能在其他平台上工作。JAVA(JVM)版本Elasticsearch是基于Java构建的，需要至少Java8来运行它。只支持Oracle的J
几回寒暑·2019-11-05 08:30

Elasticsearch学习，请先看这一篇！

原文:Elasticsearch学习，请先看这一篇！版权声明：本文为博主原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接和本声明。
NET未来之路·2019-09-30 14:00

Elasticsearch学习

最近在学习Elasticsearch，先给大家推荐一本书MasteringElasticsearch深入理解Elasticsearch这本书我觉得实用性比较高，目前我还在看，这本书教会了我怎么用，怎么理解使用原理吧下面开始介绍一下：这段话是我粘贴的哈：Elasticsearch是一个建立在全文搜索引擎ApacheLucene(TM)基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开
空白的时候·2019-09-24 12:23

【elasticSearch学习与实践】elastic stack环境搭建(7.3)

elasticstack的介绍在elastic架构下面有：elasticsearch、kibana、logstash（俗称ELK）和beats。他们的介绍依次如下：我对elasticstack的理解图片来自网络elasticsearch是一个分布式搜索引擎，通过指定的_index可以快速搜索到需要的内容。通常用于日志搜索和电商商品搜索等大数据搜索。它的优点：支持restful，基于JSON，开箱即
阿卧--·2019-09-23 20:26

ElasticSearch学习笔记

基本概念一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch和MongoDB/Redis/Memcache一样，是非关系型数据库。是一个接近实时的搜索平台，从索引这个文档到这个文档能够被搜索到只有一个轻微的延迟，企业应用定位：采用RestfulAPI标准的可扩展和高可用的实时数据分析的全文搜索工具。底层基于Lucene，采用多shard的方式保证数据安全，并
哔哔小子·2019-09-11 18:09

elasticsearch学习笔记高级篇（十五）——实战搜索推荐

准备数据PUT_bulk{"index":{"_index":"test_index","_id":"1"}}{"test_field":"helloworld"}{"index":{"_index":"test_index","_id":"2"}}{"test_field":"hellowin"}{"index":{"_index":"test_index","_id":"3"}}{"test_
郑国·2019-09-04 00:00

elasticsearch学习笔记（一）

一、基础知识了解：数据路由(documnetrouting)当客户端发起创建document的时候，es需要确定这个document放在该index哪个shard上。这个过程就是数据路由。路由过程：路由算法：shard=hash(routing)%number_of_primary_shardsrouting:每次增删改查一个document的时候，都会带过来一个routingnumber，他的默
i_chensi·2019-08-27 23:37

elasticsearch学习

一、es特性二、使用命令查看集群健康状况curl127.0.0.1:9200/_cat/health?v列出所有node节点curl127.0.0.1:9200/_cat/nodes?v查看索引信息curl127.0.0.1:9200/_cat/indices?v创建索引curl-XPUT127.0.0.1:9200/customer?pretty添加文档curl-XPUT"localhost:9
小白的希望·2019-08-12 14:38

Elasticsearch学习笔记5: suggest实现搜索补全

原文链接https://my.oschina.net/u/2299936/blog/1800139搜索补全功能使用的是es的completionsuggester实现官方文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-suggesters-completion.html先设置mapping：PO
MapleWhisper·2019-08-09 14:36

elasticsearch学习笔记高级篇（十四）——实战前缀搜索、通配符搜索、正则搜索

准备数据：PUT/test_index/_create/1{"test_field":"C3D0-KD345"}PUT/test_index/_create/2{"test_field":"C3K5-DFG65"}PUT/test_index/_create/3{"test_field":"C4I8-UI365"}前缀搜索：原理：前缀匹配不会计算相关度分数，与前缀过滤的唯一区别就是过滤会有cach
郑国·2019-08-05 00:00

elasticsearch学习笔记高级篇（十三）——混合使用match和近似匹配实现召回率和精准度的平衡

召回率和准确度对于Elasticsearch而言当使用match查询的时候召回率=匹配到的文档数量/所有文档的数量，所以匹配到的文档数量越多，召回率就越高。准确度指的就是匹配到的文档中，我们真正查询想要的文档相关度分数越高，返回结果中排在越前面，准确度就越高。match和match_phrase我们知道使用match匹配的话，如果我们的搜索文本是javaspark，那么在返回结果中，只要包含有ja
郑国·2019-08-04 00:00

Elasticsearch学习记录

ElasticStack介绍https://blog.csdn.net/xb_workspace/article/details/85165070什么是Elasticsearch分布式高性能高可用可伸缩的的搜索和分析系统1.什么是搜索垂直搜索(站内搜索)互联网的搜索:电商网站,招聘网站新闻网站各种APPIT系统的搜索:OA软件,办公自动化软件,会议管理,日程管理,项目管理,员工管理2.如果用数据库
Co_zy·2019-07-29 10:09

Elasticsearch学习记录

ElasticStack介绍https://blog.csdn.net/xb_workspace/article/details/85165070什么是Elasticsearch分布式高性能高可用可伸缩的的搜索和分析系统1.什么是搜索垂直搜索(站内搜索)互联网的搜索:电商网站,招聘网站新闻网站各种APPIT系统的搜索:OA软件,办公自动化软件,会议管理,日程管理,项目管理,员工管理2.如果用数据库
Co_zy·2019-07-29 10:09

Elasticsearch学习笔记（入个门）

Elasticsearch学习笔记（入个门）7.2.0版本Elasticsearch安装启动单实例跟大部分开源产品一样，下载一个压缩包，解压缩就可用了。
小鸡·2019-07-25 00:00

ElasticSearch学习

ES是什么elasticsearch简写es，es是一个高扩展、开源的全文检索和分析引擎，它可以准实时地快速存储、搜索、分析海量的数据。什么是全文检索全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜
Bugggget·2019-07-20 22:06

JavaEE 企业级分布式高级架构师（十七）ElasticSearch全文检索（1）

ElasticSearch学习笔记基础篇问题思考大规模数据如何检索?传统数据库的应对解决方案?非关系型数据库的解决方案?另辟蹊径——完全把数据放入内存怎么样?
yangwei_sir·2019-07-20 17:54

ElasticSearch学习使用基础

_index+_type+_id共同决定唯一的文档。Elastic数据管理的顶层单位就是索引Index(单个数据库的同义词),每个Index（即数据库）的名字必须是小写;Index里面的单条记录称为Document(文档),许多条Document构成了索引,Document使用JSON格式表示;Document可以分组，比如weather这个Index里面，可以按城市分组（北京和上海），也可以按气
itcode·2019-07-07 18:35

elasticsearch学习笔记高级篇（十二）——掌握phrase matching搜索技术

1、什么是近似搜索假设有两个句子javaismyfavouriteprogramminglangurage,andIalsothinksparkisaverygoodbigdatasystem.javasparkareveryrelated,becausescalaisspark'sprogramminglangurageandscalaisalsobasedonjvmlikejava.适用mat
郑国·2019-07-06 00:00

elasticsearch学习笔记高级篇（十一）——多字段搜索（下）

承接上一篇博客https://segmentfault.com/a/11...4、most_fields查询most_fields是以字段为中心，这就使得它会查询最多匹配的字段。假设我们有一个让用户搜索地址。其中有两个文档如下：PUT/test_index/_create/1{"street":"5PolandStreet","city":"Poland","country":"UnitedW1V
郑国·2019-06-26 00:00

elasticsearch学习笔记高级篇（十）——多字段搜索（上）

只有一个简单的match子句的查询是很少见的。我们经常需要在一个或者多个字段中查询相同的或者不同的查询字符串，意味着我们需要能够组合多个子查询以及使它们的相关性得分有意义。1、bestfields假设我们有一个让用户搜索博客文章的网站。其中有两个文档如下：PUT/test_index/_create/1{"title":"Quickbrownrabbits","body":"Brownrabbit
郑国·2019-06-23 00:00

Elasticsearch学习(四)——Logstash安装与使用

在前面我们讲解了Elasticsearch的Kibana插件，对于我们实际使用来说可能Kibana并不会使用到，但是Logstash插件大部分的情况下都会使用，那Logstash到底是啥？今天我们就来介绍一下。一、Logstash1、Logstash是什么？官方介绍说Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。（我们的
Anumbrella·2019-06-22 23:36

Elasticsearch学习笔记（五）：ES的基础分布式架构

ES对复杂分布式机制的透明隐藏性ES的垂直扩容和水平扩容增加或减少节点时数据的rebalancemaster节点节点对等的分布式架构1、Elasticsearch对复杂分布式机制的透明隐藏特性ES是一套分布式系统，分布式是为了应对大数据量。隐藏了复杂的分布式机制分片机制：我们之前所做的插入document，我们并没有关心过数据是怎么进行分片的，分到哪一个shard当中去。clusterdiscov
笼中人.·2019-06-12 14:08

Elasticsearch学习笔记（四）：ES的搜索方式

大纲：querystringsearchqueryDSLqueryfilterfull-textsearchphrasesearchhighlightsearch聚合分析1.querystringsearch搜索全部商品：get/ecommerce/product/_search{"took":20,"timed_out":false,"_shards":{"total":5,"successfu
笼中人.·2019-06-12 11:25

Elasticsearch学习笔记（三）：ES的集群检查，文档CRUD

一.Document的数据格式ES是面向文档的分析搜索引擎（1）应用系统的数据结构基本上都是面向对象的。（2）对象数据存储到数据库当中，只能拆解开来，变为扁平的多张表，每次查询的时候还需要还原为对象格式，相当麻烦。（3）ES是面向文档的，文档中存储的数据结构，与面向对象的数据结构是一样的，基于这种文档数据结构，es可以提供复杂的索引，全文检索，分析聚合等功能。（4）ES的document是用jso
笼中人.·2019-06-12 09:21

Elasticsearch学习笔记（二）：ES的核心概念

一：Lucene和ES的关系Lucene，是一个先进，功能强大的搜索库，直接基于Lucene开发，非常复杂，api复杂（需要写大量的Java代码）。需要深入理解其原理（各种索引结构）。ES：基于Lucene，隐藏其复杂性，提供简单易用的RestfulAPI接口。ES是一个分布式的搜索和分析，存储引擎，支持PB级别的数据。二：ES的核心概念（1）：NearRelatime:近实时，两个意思：从写入数
笼中人.·2019-06-10 17:15

elasticsearch学习笔记高级篇（九）——多shard场景下相关度分数不准确问题

场景分析：在某个shard中，有很多个document包含了title中有java这个关键字，比如说10个doc的title中包含了java。当一个搜索title包含java的请求到这个shard的时候，应该会这么计算relevancescore相关度分数。TF/IDF算法：（1）在一个document的title中java出现了几次（2）在所有的document的title中，java出现了几次
郑国·2019-06-02 00:00

elasticsearch学习笔记高级篇（二）——filter执行原理深度剖析

下面详细讲一下为什么filter的性能很高，filter的底层原理究竟是什么？通过一个搜索的场景来深入剖析一下，当一个filter搜索请求打到Elasticsearch的时候，ES会进行下面的操作：（1）在倒排索引中查找搜索串，获取documentlist以date来举例：worddoc1doc2doc32019-01-01**2019-02-02**2019-03-03***filter:201
郑国·2019-06-01 00:00

elasticsearch学习笔记高级篇（四）——在案例中实战使用terms搜索多个值以及多值搜索结果优化

格式描述：term格式："term":{"FIELD":{"value":"VALUE"}terms格式："terms":{"FIELD":["VALUE1","VALUE2"]}对于terms，如果和SQL语句联系起来的话，那么就相当于in准备数据：POST/forum/_bulk{"index":{"_id":1}}{"articleID":"XHDK-A-1293-#fJ3","userID
郑国·2019-06-01 00:00

elasticsearch学习笔记高级篇（五）——在案例中实战基于range filter来进行范围过滤

格式："range":{"FIELD":{"gte":10,"lte":20}类似于SQL中的between、大于等于、小于等于之类的范围筛选准备数据：POST/forum/_bulk{"index":{"_id":1}}{"articleID":"XHDK-A-1293-#fJ3","userID":1,"hidden":false,"postDate":"2017-01-01"}{"index
郑国·2019-06-01 00:00

elasticsearch学习笔记高级篇（七）——基于term+bool搜索底层原理剖析

在上一讲我们可以发现，对于multi-value的搜索方式，实现起来可以有多种方式。这里就说明一下，实现的方式虽然很多，但是elasticsearch在查询的时候底层都会转换为bool+term的形式1、普通的match如何转换为term+should{"match":{"title":"javaelasticsearch"}}使用类似上面的matchquery进行多值搜索的时候，elastics
郑国·2019-06-01 00:00

elasticsearch学习笔记高级篇（三）——在案例中实战基于bool组合多个filter条件搜索

准备数据：POST/forum/_bulk{"index":{"_id":1}}{"articleID":"XHDK-A-1293-#fJ3","userID":1,"hidden":false,"postDate":"2017-01-01"}{"index":{"_id":2}}{"articleID":"KDKE-B-9947-#kL5","userID":1,"hidden":false,"
郑国·2019-06-01 00:00

elasticsearch学习笔记高级篇（六）——在案例中如果通过手动控制全文检索结果的精准度

准备数据：POST/forum/_bulk{"index":{"_id":1}}{"articleID":"XHDK-A-1293-#fJ3","userID":1,"hidden":false,"postDate":"2017-01-01"}{"index":{"_id":2}}{"articleID":"KDKE-B-9947-#kL5","userID":1,"hidden":false,"
郑国·2019-06-01 00:00

elasticsearch学习笔记高级篇（八）——基于boost的细粒度搜索条件权重控制

需求：搜索标题中包含java的帖子，同时如果标题中包含hadoop和elasticsearch就优先搜索出来，同时，如果一个帖子包含javahadoop，一个帖子包含javaelasticsearch,包含hadoop的帖子要比elasticsearch优先搜索出来。搜索条件的权重，boost，可以将某个搜索条件的权重加大，此时当匹配这个搜索条件和匹配另一个搜索条件的document，计算rele
郑国·2019-06-01 00:00

ElasticSearch学习笔记

一、常用术语索引（Index）、类型（Type）、文档（Document）索引Index是含有相同属性的文档集合。索引在ES中是通过一个名字来识别的，且必须是英文字母小写，且不含中划线(-)；可类比于MySQL中的database；在7.0中，由于类型(Type)的移除，我们可以理解为，一个索引就是一张table。一个索引中可以定义一个或多个类型Type，文档必须属于一个类型；可类比于MySQL中
LazzMan·2019-05-30 14:03

elasticsearch学习笔记高级篇（一）——在案例中实战使用term filter来搜索数据

下面以IT技术论坛为案例背景1、根据用户ID、是否隐藏、帖子ID、发帖日期来搜索帖子（1）插入一些测试帖子的数据POST/forum/_bulk{"index":{"_id":1}}{"articleID":"XHDK-A-1293-#fJ3","userID":1,"hidden":false,"postDate":"2017-01-01"}{"index":{"_id":2}}{"articl
郑国·2019-05-29 00:00

ElasticSearch学习（一）客户端TransportClient简单检索

1、添加依赖org.elasticsearchelasticsearch5.5.2org.elasticsearch.clienttransport5.5.22、application.properties配置文件#es配置spring.es.host=172.16.8.221spring.es.transport.port=9300spring.es.port=9200spring.es.clu
背丶影·2019-05-23 18:21

Elasticsearch学习(三)——Kibana安装与使用

在前面两节的文章中，我们介绍了Elasticsearch的搭建和基本常用插件的安装，今天我们介绍一下官方文档中推荐的Kibana和X-Pack组件集合。一、Kibana1、Kibana是什么？Kibana是一款开源的数据分析和可视化平台，它是ElasticStack成员之一，设计用于和Elasticsearch协作。您可以使用Kibana对Elasticsearch索引中的数据进行搜索、查看、交互
Anumbrella·2019-05-18 16:55

ElasticSearch学习笔记Ⅱ - 基本概念与用法

一.集群和节点一个集群是由一个或多个节点组成的集合。下面的三个节点就组成了一个集群。每一个集群都有一个默认的名字，这里默认是elasticsearch，我之前命名的集群名字是haozz。master、slave1、slave2是自定义的节点的名字，每一个节点都是能够存储数据、参与集群索引数据以及搜索数据的独立数据。二.ElasticSearch中的概念索引：含有相同属性的文档集合。例如可以用一个索
Haozz_1994·2019-05-13 23:16

ElasticSearch学习笔记Ⅰ - 安装

目前公司的项目中使用到了ElasticSearch，而自己之前虽然久闻ES大名，但也只是看了一些相关的杂乱的东西，所以很有必要系统地学习并梳理一下ElasticSearch的整个知识架构。推荐ES官方的QuickStart。一.简介ElasticSearch是一个分布式、可扩展、实时的搜索与数据分析引擎，它能从项目一开始就赋予你的数据以搜索、分析和探索的能力。它基于ApacheLucene构建，并
Haozz_1994·2019-05-13 00:58

ElasticSearch学习笔记-Python API使用

ElasticSearch学习笔记-PythonAPI使用1.参考资料Elasticsearch权威指南Elasticsearch开发指南Elasticsearch官网CSDN文章ElasticSearch
Hao973·2019-05-09 15:23

elasticsearch doc和segment原理

阅读更多1.原文地址：https://blog.csdn.net/baichoufei90/article/details/82901270Elasticsearch学习-Doc与Segment原理0x00
dwj147258·2019-05-08 14:00

Elasticsearch实战Java High Level REST Client实现员工管理案例

elasticsearch:7.0.0kibana:7.0.0JDK:1.8.0_201maven:3.6.1这里讲的是实战对于如何安装elasticsearch，配置java环境变量，配置maven不做讲解详细请查看：elasticsearch
郑国·2019-05-08 00:00

大数据技术之_20_Elasticsearch学习_01_概述 + 快速入门 + Java API 操作 + 创建、删除索引 + 新建、搜索、更新删除文档 + 条件查询 + 映射操作

大数据技术之_20_Elasticsearch学习_01一概述1.1什么是搜索？1.2如果用数据库做搜索会怎么样？1.3什么是全文检索和Lucene？1.4什么是Elasticsearch？
黑泽君·2019-05-06 00:19

elasticsearch学习笔记（三十六）——Elasticsearch 内核原理

倒排索引组成结构以及索引不可变原因对于倒排索引是非常适合用来进行搜索的它的结构：（1）包含这个关键词的documentlist（2）包含这个关键词的所有document的数量：IDF（inversedocumentfrequency）（3）这个关键词在每个document中出现的次数：TF（termfrequency）（4）这个关键词在这个document中的次序（5）每个document的长度：
郑国·2019-05-02 00:00

elasticsearch学习基础知识总结

对elasticsearch基础知识部分做一个比较系统的总结和归纳，感觉已经很全了，在实际中遇到的很多问题，都可以找到参照点，然后针对的去解决问题。郑重说明，可能很多知识自己没有讲得很清楚，希望大家批评指正，我会学习和修改的，谢谢~~后面会继续更新实战篇~~自己的心得和经历我是属于一个ES小白，为了解决部门内部的一些瓶颈问题，学习ES然后去实践的。举三个场景吧，当然场景应该是很多的第一个场景如果m
郑国·2019-05-02 00:00

elasticsearch学习笔记（三十五）——Elasticsearch 索引管理

索引的基本操作创建索引PUT/{index}{"settings":{},"mappings":{"properties":{}}}创建索引示例：PUT/test_index{"settings":{"number_of_replicas":1,"number_of_shards":5},"mappings":{"properties":{"field1":{"type":"text","fiel
郑国·2019-05-02 00:00

elasticsearch学习笔记（三十二）——Elasticsearch 解密query、fetch phrase原理

querypharse基本原理：（1）搜索请求发送到某一个coordinatenode协调节点，会构建一个priorityqueue，长度以paging操作from和size为准，默认是10（2）coordinatenode将请求转发到所有的shard,每个shard本地搜索，并构建一个本地的priorityqueue（3）各个shard将自己的priorityqueue返回给coordinate
郑国·2019-05-01 00:00

elasticsearch学习笔记（二十九）——Elasticsearch 将一个field索引两次来解决字符串排序问题

下面描述一个场景如果某个字段的类型是text，在创建索引的时候，针对每个document，对应的这个text字段都会对内容进行分词。由于ES不允许对已经存在的field的类型进行修改，就会导致该字段一直都是会被分词，那么如果之后有需求想对该字段排序，就不行了。具体看下面展示的示例。PUT/test_index{"mappings":{"properties":{"field1":{"type":"
郑国·2019-05-01 00:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他