elasticsearch搜索引擎笔记2
- 高级查询全量查询
package com.zgs.es.test;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchRequestBuilder;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import java.io.IOException;
/**
* @author zgs
* @date 2021年12月03日 11:16:00
*/
@Slf4j
public class EsTest_Doc_High_Level_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder builder = new SearchSourceBuilder();
builder.query(QueryBuilders.matchAllQuery());
request.source(builder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch (Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
- 高级查询-条件查询
package com.zgs.es.test;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import java.io.IOException;
/**
* @author zgs
* @date 2021年12月03日 11:36:00
*/
@Slf4j
public class EsTest_Doc_Condition_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder builder = new SearchSourceBuilder();
builder.query(QueryBuilders.termQuery("age",22));
request.source(builder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch (Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
- 高级查询-分页排序-查询
package com.zgs.es.test;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.sort.SortOrder;
import java.io.IOException;
/**
* @author zgs
* @date 2021年12月03日 15:14:00
*/
@Slf4j
public class EsTest_Doc_PageSort_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder builder = new SearchSourceBuilder();
builder.query(QueryBuilders.matchAllQuery());
builder.from(0);
builder.size(5);
builder.sort("age", SortOrder.DESC);
request.source(builder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch (Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
- 高级查询-过滤字段
package com.zgs.es.test;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import java.io.IOException;
/**
* @author zgs
* @date 2021年12月03日 15:22:00
*/
@Slf4j
public class EsTest_Doc_Filter_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
String[] excludes = {"name"};
String[] includes = {};
sourceBuilder.fetchSource(includes,excludes);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch(Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
- 高级查询-组合查询
package com.zgs.es.test;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import java.io.IOException;
/**
* @author zgs
* @date 2021年12月03日 15:41:00
*/
@Slf4j
public class EsTest_Doc_Group_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery();
// queryBuilder.must(QueryBuilders.matchQuery("age",22));
// queryBuilder.must(QueryBuilders.matchQuery("name","张帅"));
queryBuilder.should(QueryBuilders.matchQuery("age","22"));
queryBuilder.should(QueryBuilders.matchQuery("age","23"));
sourceBuilder.query(queryBuilder);
request.source(sourceBuilder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch(Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
- 高级查询-范围查询
package com.zgs.es.test;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.RangeQueryBuilder;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.sort.SortOrder;
import java.io.IOException;
/**
* @author zgs
* @date 2021年12月03日 15:56:00
*/
@Slf4j
public class EsTest_Doc_Range_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder builder = new SearchSourceBuilder();
RangeQueryBuilder rangeQuery = QueryBuilders.rangeQuery("age");
//>=
rangeQuery.gte(21);
//<
rangeQuery.lt(24);
builder.query(rangeQuery);
request.source(builder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch (Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
- 高级查询-模糊查询
package com.zgs.es.test;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.unit.Fuzziness;
import org.elasticsearch.index.query.FuzzyQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.RangeQueryBuilder;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.sort.SortOrder;
import java.io.IOException;
/**
* @author zgs
* @date 2021年12月03日 16:08:00
*/
@Slf4j
public class EsTest_Doc_Fuzzy_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder builder = new SearchSourceBuilder();
FuzzyQueryBuilder queryBuilder = QueryBuilders.fuzzyQuery("name", "张帅").fuzziness(Fuzziness.ONE);
builder.query(queryBuilder);
request.source(builder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch (Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
- 高级查询-高亮显示
package com.zgs.es.test;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.TermsQueryBuilder;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import java.io.IOException;
/**
* @author zgs
* @date 2021年12月03日 16:19:00
*/
@Slf4j
public class EsTest_Doc_HighLight_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder builder = new SearchSourceBuilder();
TermsQueryBuilder termsQueryBuilder = QueryBuilders.termsQuery("name", "张帅");
builder.query(termsQueryBuilder);
HighlightBuilder highlightBuilder = new HighlightBuilder();
highlightBuilder.preTags("");
highlightBuilder.postTags("");
highlightBuilder.field("name");
builder.highlighter(highlightBuilder);
request.source(builder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch (Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
- 高级查询-聚合查询
package com.zgs.es.test;
import com.alibaba.fastjson.JSONObject;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.TermsQueryBuilder;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.aggregations.Aggregation;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.metrics.MaxAggregationBuilder;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import java.io.IOException;
import java.util.List;
/**
* @author zgs
* @date 2021年12月03日 16:43:00
*/
@Slf4j
public class EsTest_Doc_Aggregation_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder builder = new SearchSourceBuilder();
MaxAggregationBuilder aggregationBuilder = AggregationBuilders.max("maxAge").field("age");
builder.aggregation(aggregationBuilder);
request.source(builder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
List<Aggregation> aggregations = response.getAggregations().asList();
for (Aggregation aggregation : aggregations) {
String s = JSONObject.toJSONString(aggregation);
log.info("##################################aggregation:"+s);
}
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch (Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
- 条件分组统计查询
package com.zgs.es.test;
import com.alibaba.fastjson.JSONObject;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.aggregations.Aggregation;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.bucket.terms.TermsAggregationBuilder;
import org.elasticsearch.search.aggregations.metrics.MaxAggregationBuilder;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import java.io.IOException;
import java.util.List;
/**
* @author zgs
* @date 2021年12月03日 16:58:00
*/
@Slf4j
public class EsTest_Doc_GROUP_BY_Get {
public static void main(String[] args) throws IOException {
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost",9200,"http")));
try{
SearchRequest request = new SearchRequest();
request.indices("zgs");
SearchSourceBuilder builder = new SearchSourceBuilder();
TermsAggregationBuilder field = AggregationBuilders.terms("maxAge").field("age");
builder.aggregation(field);
request.source(builder);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
SearchHits hits = response.getHits();
List<Aggregation> aggregations = response.getAggregations().asList();
for (Aggregation aggregation : aggregations) {
String s = JSONObject.toJSONString(aggregation);
log.info("##################################aggregation:"+s);
}
log.info("##################################getTotalHits:"+hits.getTotalHits());
log.info("##################################getTook:"+response.getTook());
for (SearchHit hit : hits) {
log.info("#####################hit:"+hit.getSourceAsString());
}
}catch (Exception e){
throw new RuntimeException(e.getMessage());
}finally {
client.close();
}
}
}
-
es各种概念----------------------------------------------------------------------------------------------------------------------------------------------------
-
es扩展程序
-
单机
单台机器存储容量有限
单服务器容易出现单点故障，无法实现高可用
单服务的并发处理能力有限
配置服务器集群时，集群中节点数量没有限制，大于等于2个节点就可以看做是集群了。一般出于高性能及高可用方面来考虑集群中节点数量都是3个以上。
- 集群 Cluster
一个集群就是由一个或多个服务器节点组织在一起，共同持有整个的数据，并一起提供索引和搜索功能。一个Elasticsearch集群有一个唯一的名字标识，这个名字默认就是”elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。
- 节点 Node
集群中包含很多服务器，一个节点就是其中的一个服务器。作为集群的一部分，它存储数据，参与集群的索引和搜索功能。
一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。
- windows集群配置
- 创建elasticsearch-cluster文件夹，在内部复制三个elasticsearch服务
启动前先删除每个节点中的data目录中所有内容（如果存在）,分别双击执行 bin/elasticsearch.bat, 启动节点服务器，启动后，会自动加入指定名称的集群- 修改集群文件目录中每个节点的 config/elasticsearch.yml配置文件
node 1001 节点
节点 1 的配置信息：
集群名称，节点之间要保持一致
cluster.name: my elasticsearch
节点名称，集群内要唯一
node.name: node 1001
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 1001
#tcp 监听端口
transport.tcp.port: 9301
#discovery.seed_hosts: ["localhost:9301", "localhost:9302","localhost:
#discovery.zen.fd.ping_timeout: 1 m
#discovery.zen.fd.ping_retries: 5
集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node 1", "node 2","node 3"]
跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow origin: "*"
node 1002 节点
节点 2 的配置信息：
集群名称，节点之间要保持一致
cluster.name: my elasticsearch
节点名称，集群内要唯一
node.name: node 1002
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 1002
#tcp 监听端口
transport.tcp.port: 9302
discovery.seed_hosts: ["localhost:9301"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node 1", "node 2","node 3"]
跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow origin: "*"
node 1003 节点
节点 3 的配置信息：
集群名称，节点之间要保持一致
cluster.name: my elasticsearch
节点名称，集群内要唯一
node.name: node 1003
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 1003
#tcp 监听端口
transport.tcp.port: 9303
候选主节点的地址，在开启服务后可以被选为主节点
discovery.seed_hosts: [" localhost:9301", "localhost:9302"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node 1", "node 2","node 3"]
跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow origin: "*"
测试集群：http://127.0.0.1:1001/_cluster/health
- Elasticsearch 进阶-核心理念-------------------------------------------------------------------------------------------------
- 索引（ Index）
一个索引就是一个拥有几分相似特征的文档的集合，。在一个集群中，可以定义任意多的索引。能搜索的数据必须索引，这样的好处是可以提高查询速度，
Elasticsearch索引的精髓：一切设计都是为了提高搜索的性能。
- 类型（ Type）
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。不同的版本，类型发生了不同的变化
- 文档（ Document）
一个文档是一个可被索引的基础信息单元，也就是一条数据。在一个index/type里面，你可以存储任意多的文档。
- 字段（ Field）
相当于是数据表的字段，对文档数据根据不同属性进行的分类标识。
- 映射（ Mapping)
mapping是处理数据的方式和规则方面做一些限制，如：某个字段的数据类型、默认值、分析器、是否被索引等等。这些都是映射里面可以设置的，其它就是处理ES里面数据的一些使用规则设置也叫做映射，按着最优规则处理数据对性能提高很大，因此才需要建立映射，并且需要思考如何建立映射才能对性能更好。
- 分片（ Shards）
一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有10亿文档数据的索引占据1TB的磁盘空间，而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，每一份就称之为分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。
分片很重要，主要有两方面的原因：
1）允许你水平分割 / 扩展你的内容容量。
2）允许你在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量。
至于一个分片怎样分布，它的文档怎样聚合和搜索请求，是完全由Elasticsearch管理的，对于作为用户的你来说，这些都是透明的，无需过分关心。
被混淆的概念是，一个 Lucene 索引 我们在 Elasticsearch 称作 分片 。 一个 Elasticsearch 索引 是分片的集合。 当 Elasticsearch 在索引中搜索的时候， 他发送查询到每一个属于索引的分片(Lucene 索引)，然后合并每个分片的结果到一个全局的结果集。
- 副本（ Replicas）
在一个网络 / 云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片(副本)。
复制分片之所以重要，有两个主要原因：
在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。
扩展你的搜索量/吞吐量，因为搜索可以在所有的副本上并行运行。
总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制的数量，但是你事后不能改变分片的数量。默认情况下，Elasticsearch中的每个索引被分片1个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有1个主分片和另外1个复制分片（1个完全拷贝），这样的话每个索引总共就有2个分片，我们需要根据索引需要确定分片个数。
- 分配（ Allocation）
将分片分配给某个节点的过程，包括分配主分片或者副本。如果是副本，还包含从主分片复制数据的过程。这个过程是由master节点完成的。
- 系统架构
一个运行中的Elasticsearch 实例称为一个节点，而集群是由一个或者多个拥有相同
cluster.name 配置的节点组成， 它们共同承担数据和负载的压力。当有节点加入集群中或者
从集群中移除节点时，集群将会重新平均分布所有的数据。
当一个节点被选举成为主 节点时， 它将负责管理集群范围内的所有变更，例如增加、
删除索引，或者增加、删除节点等。 而主节点并不需要涉及到文档级别的变更和搜索等操
作，所以当集群只拥有一个主节点的情况下，即使流量的增加它也不会成为瓶颈。 任何节
点都可以成为主节点。我们的示例集群就只有一个节点，所以它同时也成为了主节点。
作为用户，我们可以将请求发送到集群中的任何节点，包括主节点。 每个节点都知道
任意文档所处的位置，并且能够将我们的请求直接转发到存储我们所需文档的节点。 无论
我们将请求发送到哪个节点，它都能负责从各个包含我们所需文档的节点收集回数 据，并将
最终结果返回給客户端。 Elasticsearch 对这一切的管理都是透明的。
- 分布式集群
我们在包含一个空节点的集群内创建名为users 的索引 ，为了演示目的，我们将分配 3
个主分片和一份副本（每个主分片拥有一个副本分片）。
向集群中添加user索引：
put: http://127.0.0.1:1001/users
{
"settings":{
"number_of_shards" :3,
"number_of_replicas" : 1
}
}
我们的集群现在是拥有一个索引的单节点集群。所有3 个主分片都被分配在 n ode 1 。
通过elasticsearch head 插件查看集群情况
集群健康值 :yellow( 3 of 6 ) : 表示当前集群的全部 主分片 都正常运行，但是副本分片没有全部处在正常状态。
一个节点上既保存原始数据又保存副本是没有意义的，因为一旦失去了那个节点，我们也将丢失该节点
上的所有副本数据。
- 故障转移
当集群中只有一个节点在运行时，意味着会有一个单点故障问题没有冗余。 幸运
的是，我们只需再启动一个节点即可防止数据丢失。当你在同一台机器上启动了第二个节点
时，只要它和第一个节点有同样的 cluster.name 配置，它就会自动发现集群并加入到其中。
但是在不同机器上启动节点的时候，为了加入到同一集群，你需要配置一个可连接到的单播
主机列表。之所以配置为使用单播发现，以防止节点无意中加入集群。只有在同一台机器上
运行的节点才会自动组成集群。如果启动了第二个节点，我们的集群将会拥有两个节点的集群
所有主分片和副本分片都已被分配。
集群健康值 :green( 6 of 6 ) : 表示所有 6 个分片（包括 3 个主分片和 3 个副本分片）都在正常运行。
每个主分片对应一个副本分片。这意味着当集群内任何一个节点出现问题时，我们的数据都完好无损。所有新近被索引的文档都将会保存在主分片上，然后被并行的复制到对 应的副本分片上。这就保证了我们
既可以从主分片又可以从副本分片上获得文档。
- 水平扩容
怎样为我们的正在增长中的应用程序按需扩容呢？当启动了第三个节点，我们的集群将
会拥有三个节点的集群 : 为了分散负载而对分片进行重新分配
Node 1和 Node 2 上各有一个分片被迁移到了新的 Node 3 节点，现在每个节点上都拥有 2 个分片，
而不是之前的 3 个。 这表示每个节点的硬件资源（ CPU, RAM, I/O ）将被更少的分片所共享，每个分片
的性能将会得到提升。分片是一个功能完整的搜索引擎，它拥有使用一个节点上的所有资源的能力。
我们这个拥有 6 个分片（ 3 个主分片和 3 个副本分片）的索引可以最大扩容到 6 个节点，每个节点上存在一个分片，并且每个分片拥有所在节点的全部资源。
在运行中的集群上是可以动态调整副本分片数目的，我们可以按需伸缩集群。让我们把
副本数从默认的 1 增加到 2
put: http://127.0.0.1:1001/users/_settings
{
"number_of_replicas" : 2
}
users索引现在拥有 9 个分片： 3 个主分片和 6 个副本分片。 这意味着我们可以将集群
扩容到 9 个节点，每个节点上一个分片。相比原来 3 个节点时，集群搜索性能 可以提升 3 倍。
当然，如果只是在相同节点数目的集群上增加更多的副本分片并不能提高性能，因为每
个分片从节点上获得的资源会变少。 你需要增加更多的硬件资源来提升吞吐量。
但是更多的副本分片数提高了数据冗余量：按照上面的节点配置，我们可以在失去2 个节点的情况下不丢失任何数据。
- 应对故障
我们关闭第一个节点，这时集群的状态为关闭了一个节点后的集群。
我们关闭的节点是一个主节点。而集群必须拥有一个主节点来保证正常工作，所以发生的第一件事情就是选举一个新的主节点： Node 2 。在我们关闭 Node 1 的同时也失去了主分片 1 和 2 ，并且在缺失主分片的时候索引也不能正常工作。幸运的是，在其它节点上存在着这两个主分片的完整副本，所以新的主节点立即将这些分片在 Node 2 和 Node 3 上对应的副本分片提升为主分片， 此时集群的状态将会为yellow 。这个提升主分片的过程是瞬间发生的，如同按下一个开关一般。
虽然我们拥有所有的三个主分片，但是同时设置了每个主分片需要对应2 份副本分片，而此时只存在一份副本分片。 所以集群不能为 green 的状态，不过我们不必过于担心：如果我们同样关闭了 Node 2 ，我们的程序 依然 可以保持在不丢任何数据的情况下运行，因为Node 3 为每一个分片都保留着一份副本。
重启nood1之前，需要改一下配置文件，不然nood1找不到现在的集群。如果我们重新启动Node 1 ，集群可以将缺失的副本分片再次进行分配，那么集群的 状态也将恢复成之前的状态。 如果 Node 1 依然拥有着之前的分片，它将尝试去重用它们，同时仅从主分片复制发生了修改的数据文件。和之前的集群相比，只是 Master 节点切换了。
discovery.seed_hosts: [" localhost:9302", "localhost:9303"]
- 路由计算
分片控制