别找我打球了
别找我打球了

ElasticSearch Java High level Rest Client 官方文档中文翻译 二 (search API)

ElasticSearch Java High level Rest Client 官方文档中文翻译 二 （search API）

  • ElasticSearch Java High level Rest Client 官方文档中文翻译 二 （search API）
    • SearchAPI
      • Search Request
      • 可选参数
      • 构建SearchSourceBuilder
      • Building queries 绑定查询
      • Specifying Sorting 指定排序
      • Source filtering 过滤源数据
      • Request Highlighting 请求高亮
      • Requesting Aggregations 聚合搜索结果
      • Requesting Suggestions
      • Profiling Queries and Aggregations 分析查询汇总
      • Synchronous execution 同步执行
      • ASynchronous execution
      • SearchResponse
      • Retrieving SearchHits
      • Retrieving HighLighting 搜索结果高亮显示
      • Retrieving Aggregations 聚合函数操作
      • Retrieving Aggregations 检索建议
      • Retrieving profiling Results 检索分析结果

SearchAPI

Search Request

SearchRequest可用于搜索文档，聚合文档，还有搜索结果的高亮显示

SearchRequest的最基础的形式

  1. 构建searchRequest如果没有参数，这将与所有索引冲突。
  2. 可用使用SearchSourceBuilder添加搜索的参数，SearchSourceBuilder通过setter设置请求体中的搜索参数
  3. 在SearchSourceBuilder添加match_all 查询
  4. 将SearchSourceBuilder添加到SearchRequest中
SearchRequest searchRequest = new SearchRequest(); 
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); 
searchSourceBuilder.query(QueryBuilders.matchAllQuery()); 
searchRequest.source(searchSourceBuilder);

可选参数

  • Restricts the request to an index ： 将请求限制为索引
SearchRequest searchRequest = new SearchRequest("posts");
  • Set a routing parameter 设置路由参数
searchRequest.routing("routing"); 

  •   Setting IndicesOptions controls how unavailable indices are resolved and how wildcard expressions are expanded

设置IndicesOptions控制如何解决不可用的索引以及如何扩展通配符表达式

searchRequest.indicesOptions(IndicesOptions.lenientExpandOpen());
  • Use the preference parameter e.g. to execute the search to prefer local shards. The default is to randomize across shards.

使用首选项参数，例如，执行搜索以偏爱本地碎片。默认设置是随机分片。

searchRequest.preference("_local");

构建SearchSourceBuilder

许多控制搜索的行为都可以通过SearchSourceBuilder来设定，该选项或多或少包含与Rest API的搜索请求正文中的选项等效的选项。

  • 创建SearchSourceBuilder对象
  • 设置查询方式，可以是QueryBuilder的任何方式
  • 设置分页数 的其实位置
  • 设置每页显示的数据
  • 设置搜索的超时时间
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); 
sourceBuilder.query(QueryBuilders.termQuery("user", "kimchy")); 
sourceBuilder.from(0); 
sourceBuilder.size(5); 
sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

搜索条件构造好了之后，将SearchSourceBuilder假如到SearchRequest中即可

SearchRequest searchRequest = new SearchRequest();
searchRequest.indices("posts");
searchRequest.source(sourceBuilder);

Building queries 绑定查询

需要通过QueryBuilder兑现过来创建搜索条件，QueryBuilder支持所有的Elasticsearch QueryDSL.
可以通过QueryBuilder构造器创建QueryBuilder

  • 创建一个全文匹配的搜索条件，需要匹配user 域的 kimchy
MatchQueryBuilder matchQueryBuilder = new MatchQueryBuilder("user", "kimchy");

一旦创建完成之后之后，QueryBuilder对象将提供方法来配置其创建的搜索查询的选项：

  • 对匹配查询启用模糊匹配
  • 在匹配查询中设置前缀长度选项
  • 设置最大扩展选项以控制查询的模糊过程
matchQueryBuilder.fuzziness(Fuzziness.AUTO); 
matchQueryBuilder.prefixLength(3); 
matchQueryBuilder.maxExpansions(10);

也可以通过流式编程创建QueryBuilder

QueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("user", "kimchy")
                                                .fuzziness(Fuzziness.AUTO)
                                                .prefixLength(3)
                                                .maxExpansions(10);

不管你用什么方式创建QueryBuilder，都必须将其加入到searchSourceBuilder中。

在 Building Queries页面给出了可用的所有QueryBuilder方法。

Specifying Sorting 指定排序

SearchSourceBuilder允许添加一个或者多个SortBuilder排序实例，有四种具体的排序实现
Field score GeoDistance ScriptSortBuilder

  • 搜索结果按照_score降序排序
  • 搜索结果按照_id升序排序
sourceBuilder.sort(new ScoreSortBuilder().order(SortOrder.DESC)); 
sourceBuilder.sort(new FieldSortBuilder("id").order(SortOrder.ASC));

Source filtering 过滤源数据

默认的情况下，搜索请求返回文档中的_source，你也可以关掉这一选项。

sourceBuilder.fetchSource(false);

这个方法也可以过滤掉我们不想要的fields

String[] includeFields = new String[] {"title", "innerObject.*"};
String[] excludeFields = new String[] {"user"};
sourceBuilder.fetchSource(includeFields, excludeFields);

Request Highlighting 请求高亮

高亮搜索的结果可以通过在SearchSourceBuilder设置HighlightBuilder来实现。不同的高亮表现可以通过设置不同的HighlightBuilder.Field来实现

  • Creates a new HighlightBuilder 创建HighlightBuilder对象
  • Create a field highlighter for the title field 为title字段设置高亮属性
  • Set the field highlighter type 设置高亮的种类
  • highlightTitle 添加到 highlightBuilder
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
HighlightBuilder highlightBuilder = new HighlightBuilder(); 
HighlightBuilder.Field highlightTitle =
        new HighlightBuilder.Field("title"); 
highlightTitle.highlighterType("unified");  
highlightBuilder.field(highlightTitle);  
HighlightBuilder.Field highlightUser = new HighlightBuilder.Field("user");
highlightBuilder.field(highlightUser);
searchSourceBuilder.highlighter(highlightBuilder);

Requesting Aggregations 聚合搜索结果

可以通过在初始的创建合适的AggregationBuilder并将其加入到SearchSourceBuilder来实现聚合查询。
在下面的例子中我们创建了以company name 为组的聚合器，同时还聚合了员工平均工资的操作。

SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
TermsAggregationBuilder aggregation = AggregationBuilders.terms("by_company")
        .field("company.keyword");
aggregation.subAggregation(AggregationBuilders.avg("average_age")
        .field("age"));
searchSourceBuilder.aggregation(aggregation);

更多聚合操作 在 Building Aggregations 页

Requesting Suggestions

要将“建议”添加到搜索请求中，请使用SuggestionBuilder可从SuggestBuilders工厂类轻松访问的实现之一。建议建设者需要添加到顶层SuggestBuilder，它本身可以在上设置 SearchSourceBuilder。

SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
SuggestionBuilder termSuggestionBuilder =
    SuggestBuilders.termSuggestion("user").text("kmichy"); 
SuggestBuilder suggestBuilder = new SuggestBuilder();
suggestBuilder.addSuggestion("suggest_user", termSuggestionBuilder); 
searchSourceBuilder.suggest(suggestBuilder);

Profiling Queries and Aggregations 分析查询汇总

Profile API 可以分析查询请求的执行过程也可以聚合特定的查询结果，如果想要使用它，就必须将SearchSourceBuilde上的分析标记打开

SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.profile(true);

一旦查询请求被执行了，那么在查询响应中就会有查询请求分析的结果

Synchronous execution 同步执行

ASynchronous execution

SearchResponse

在SearchResponse 不仅返回了需要搜索的文档，同样也服务器也返回了本次搜索的执行详情，类似于HTTP响应头，状态码。

本次查询请求的信息 状态，耗时，是否超时

RestStatus status = searchResponse.status();
TimeValue took = searchResponse.getTook();
Boolean terminatedEarly = searchResponse.isTerminatedEarly();
boolean timedOut = searchResponse.isTimedOut();

第二，响应中同样也提供了关于分片的信息，比如本次查询请求影响了多少个分片，成功分片，失败分片。

int totalShards = searchResponse.getTotalShards();
int successfulShards = searchResponse.getSuccessfulShards();
int failedShards = searchResponse.getFailedShards();
for (ShardSearchFailure failure : searchResponse.getShardFailures()) {
    // failures should be handled here
}

Retrieving SearchHits

为了得到返回的文档，我们需要首先得到response中的SearchHits对象。

SearchHits hits = searchResponse.getHits();

SearchHits 提供了命中文档的一些全局信息，比如命中的文档数，最大得分

TotalHits totalHits = hits.getTotalHits();
// the total number of hits, must be interpreted in the context of totalHits.relation
long numHits = totalHits.value;
// whether the number of hits is accurate (EQUAL_TO) or a lower bound of the total (GREATER_THAN_OR_EQUAL_TO)
TotalHits.Relation relation = totalHits.relation;
float maxScore = hits.getMaxScore();

嵌套在中的SearchHits是可以迭代的各个搜索结果：

SearchHit[] searchHits = hits.getHits();
for (SearchHit hit : searchHits) {
    // do something with the SearchHit
}

SearchHit提供了搜索索引的基本信息，如索引，文档id，得分

String index = hit.getIndex();
String id = hit.getId();
float score = hit.getScore();

此外，SearchHit可以让你以Json 字符串的形式或者map 的形式获取到文档source 内容，在map里面中，常规字段由字段名称键入并包含字段值。多值字段以对象列表的形式返回，嵌套对象以另一个键/值映射的形式返回。这些情况需要相应地强制转换：

String sourceAsString = hit.getSourceAsString();
Map sourceAsMap = hit.getSourceAsMap();
String documentTitle = (String) sourceAsMap.get("title");
List users = (List) sourceAsMap.get("user");
Map innerObject =
        (Map) sourceAsMap.get("innerObject");
 
  
Retrieving HighLighting 搜索结果高亮显示
 
  
如果需要，可以通过结果中的每个SearchHit来截取文本片段的高亮显示。
 
  
SearchHits hits = searchResponse.getHits();
for (SearchHit hit : hits.getHits()) {
    Map highlightFields = hit.getHighlightFields();
    HighlightField highlight = highlightFields.get("title"); 
    Text[] fragments = highlight.fragments();  
    String fragmentString = fragments[0].string();
}

 
  
Retrieving Aggregations 聚合函数操作
 
  
     
   
  • 得到by-company 的aggregation字段
    •  
   
  • Get the buckets that is keyed with Elastic
    •  
   
  • average_age sub-aggregation
    •  
  
 
  
Aggregations aggregations = searchResponse.getAggregations();
Terms byCompanyAggregation = aggregations.get("by_company"); 
Bucket elasticBucket = byCompanyAggregation.getBucketByKey("Elastic"); 
Avg averageAge = elasticBucket.getAggregations().get("average_age"); 
double avg = averageAge.getValue();


 
  
请注意，如果按名称访问聚合，则需要根据请求的聚合类型指定聚合接口，否则ClassCastException将抛出a：
 
  
Range range = aggregations.get("by_company"); 

 
  
也可以将所有聚合作为以聚合名称作为关键字的映射来访问。在这种情况下，必须明确地强制转换为正确的聚合接口：
 
  
Map aggregationMap = aggregations.getAsMap();
Terms companyAggregation = (Terms) aggregationMap.get("by_company");

 
  
还有一些getter会将所有顶级聚合返回为列表：
 
  
List aggregationList = aggregations.asList();

 
  
您可以遍历所有聚合，然后例如根据其类型决定如何进一步处理它们：
 
  
for (Aggregation agg : aggregations) {
    String type = agg.getType();
    if (type.equals(TermsAggregationBuilder.NAME)) {
        Bucket elasticBucket = ((Terms) agg).getBucketByKey("Elastic");
        long numberOfDocs = elasticBucket.getDocCount();
    }
}

 
  
Retrieving Aggregations 检索建议
 
  
要从中获取建议SearchResponse，请使用Suggest对象作为入口点，然后检索嵌套的建议对象：
 
  
Suggest suggest = searchResponse.getSuggest(); 
TermSuggestion termSuggestion = suggest.getSuggestion("suggest_user"); 
for (TermSuggestion.Entry entry : termSuggestion.getEntries()) { 
    for (TermSuggestion.Entry.Option option : entry) { 
        String suggestText = option.getText().string();
    }
}

 
  
Retrieving profiling Results 检索分析结果
 
  
通过searchResponse的getProfileResults可以得到分析结果，返回Map
 
  
Map profilingResults =
        searchResponse.getProfileResults(); 
for (Map.Entry profilingResult : profilingResults.entrySet()) { 
    String key = profilingResult.getKey(); 
    ProfileShardResult profileShardResult = profilingResult.getValue(); 
}

 
  
所述ProfileShardResult对象本身包含一个或多个查询简档的结果，一个用于抵靠底层Lucene索引执行的每个查询：
 
  
List queryProfileShardResults =
        profileShardResult.getQueryProfileResults(); 
for (QueryProfileShardResult queryProfileResult : queryProfileShardResults) { 

}

 
  
每个都QueryProfileShardResult可以访问详细的查询树执行，并以ProfileResult对象列表的形式返回 ：
 
  
for (ProfileResult profileResult : queryProfileResult.getQueryResults()) { 
    String queryName = profileResult.getQueryName(); 
    long queryTimeInMillis = profileResult.getTime(); 
    List profiledChildren = profileResult.getProfiledChildren(); 
}

 
  
Rest API文档包含有关性能分析查询的更多信息，并带有查询性能分析信息的描述。
 
  
该QueryProfileShardResult还可以访问了Lucene的收集器的分析信息：
 
  
CollectorResult collectorResult = queryProfileResult.getCollectorResult();  
String collectorName = collectorResult.getName();  
Long collectorTimeInMillis = collectorResult.getTime(); 
List profiledChildren = collectorResult.getProfiledChildren(); 

 
  
Rest API文档包含有关Lucene收集器性能分析信息的更多信息。请参阅分析查询。
 通过与查询树执行非常类似的方式，这些QueryProfileShardResult对象可以访问详细的聚合树执行：
 
  
AggregationProfileShardResult aggsProfileResults =
        profileShardResult.getAggregationProfileResults(); 
for (ProfileResult profileResult : aggsProfileResults.getProfileResults()) { 
    String aggName = profileResult.getQueryName(); 
    long aggTimeInMillis = profileResult.getTime(); 
    List profiledChildren = profileResult.getProfiledChildren(); 
}

 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(ElasticStack)

        

            

                
    
                    
  • Kibana安装部署
                        季风泯灭的季节
ElasticStack技术栈及其详细应用运维elkkibana
                        
    目录一、环境准备二、安装部署2.1下载安装包到指定文件夹，并解压2.2重置kibana_system密码2.3编辑启动文件2.3进入界面三、使用3.1创建视图3.2视图优化概述Kibana是一个强大的开源数据可视化工具，它作为ElasticStack（以前称为ELKStack）中的一部分使用，与Elasticsearch紧密集成，Elasticsearch中的数据即通过Kibana界面向用户展示。
    
                    
    • 
                    
  • ElasticSearch学习笔记
                        重生之Java再爱我一次
elasticsearch学习笔记
                        
    ElasticSearch一、初识ES1.什么是ElasticSearch？ES的概念：ElasticSearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。ElasticSearch结合Kibana、LogStach、Beats，也就是ElasticStack（ELK）。被广泛应用在日志数据分析、实时监控等领域。ES的发展：Lucene是一个Java语言的搜索引擎类
    
                    
    • 
                    
  • elasticSearch使用场景深入详解
                        人生万事须自为，跬步江山即寥廓。
大数据elasticsearch大数据搜索引擎
                        
    Elasticsearch是一个基于Lucene的搜索引擎，它提供了一个分布式、支持多租户的全文搜索引擎，具有HTTPWeb接口和无模式JSON文档。Elasticsearch是ElasticStack的核心，ElasticStack包括Kibana、Beats和Logstash等组件，用于数据采集、可视化和报告。Elasticsearch使用场景广泛，包括日志数据分析、实时应用程序监控、数据分析
    
                    
    • 
                    
  • ELK的日志解决方案
                        DecemberZero2
elk
                        
    ELK的日志解决方案ELK是什么ELK是一个缩写，代表ElasticStack，而不是三个独立的产品名称。ElasticStack是一个开源的数据处理和分析平台，用于实时搜索、分析和可视化大规模数据。ELK是由三个主要的组件构成：Elasticsearch(ES):一个分布式搜索引擎，用于实时存储和检索数据。它提供了强大的全文搜索能力和分布式性能，常用于存储和查询大规模的日志数据、指标数据等。Lo
    
                    
    • 
                    
  • Elasticsearch基本概念讲解
                        四维大脑
ElasticSearchelasticsearch大数据
                        
    Elasticsearch是什么TheElasticStack,包括Elasticsearch、Kibana、Beats和Logstash（也称为ELKStack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为ES，ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticStack技术栈的核心。它可以近乎实时的存储、检
    
                    
    • 
                    
  • 【ES数据可视化】kibana实现数据大屏
                        _BugMan
elasticsearch大数据elasticsearch数据可视化
                        
    目录1.概述2.绘制数据大屏2.1.准备数据2.2.绘制大屏3.嵌入项目中1.概述再来重新认识一下kibana：Kibana是一个用于数据可视化和分析的开源工具，是ElasticStack（以前称为ELKStack）中的一部分，由Elastic公司提供。Kibana提供了丰富的功能，使用户可以通过直观的图表、图形和仪表板来探索、分析和理解存储在Elasticsearch中的数据。数据可视化：Kib
    
                    
    • 
                    
  • Elasticsearch：使用 Inference API 进行语义搜索
                        Elastic 中国社区官方博客
ElasticsearchElasticAIelasticsearch大数据搜索引擎全文检索人工智能支持向量机
                        
    在我之前的文章“ElasticSearch8.12：让Lucene更快，让开发人员更快”，我有提到InferenceAPI。这些功能的核心部分始终是灵活的第三方模型管理，使客户能够利用当今市场上下载最多的向量数据库及其选择的转换器模型。在今天的文章中，我们将使用一个例子来展示如何使用InferenceAPI来进行语义搜索。前提条件你需要安装ElasticStack8.12及以上版本。你可以是自托管
    
                    
    • 
                    
  • ElasticSearch 应用实践 笔记
                        KEEPMA
elasticsearch大数据搜索引擎
                        
    概述介绍ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticStack技术栈的核心。它可以近乎实时的存储，检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。ElasticSearch的底层是开源库Lucene，但是你没办法直接用Lucene，必须自己写代码去调用它的接口，Elastic是Lucene的封装，提供了RESTAPI的操作接口，开箱即用。天然的跨平台。El
    
                    
    • 
                    
  • Elasticsearch 学习
                        zhouwenxing666
elasticsearch微服务全文检索springbootjavaideaspringboot
                        
    Elasticseach学习ES简介ES结合kibana、Logstash、Beat，也就是elasticstack(ELK)。用于日志数据分析可视化，实时监控等领域elasticseach是slasticstack的核心，负责存储，搜索，分析数据elasticseach的底层是Lucene，Lucene是Java语言的一个搜索引擎类库，是Apache公司的顶级项目，官网https://lucen
    
                    
    • 
                    
  • 【ElasticSearch】概述
                        流转星云
elasticsearch搜索引擎elasticsearch大数据搜索引擎
                        
    文章目录ElasticSearch1.基本介绍2.设计理念3.基本架构与核心概念学习参考资料：ElasticSearch简单整理ES基本概念，设计理念，构建与使用，供回顾。1.基本介绍Elasticsearch是一个基于ApacheLucene的开源的分布式搜索引擎，用于实时存储、检索和分析大规模数据。它属于ElasticStack（以前称为ELKStack），包括Elasticsearch、Lo
    
                    
    • 
                    
  • Elasticsearch（一）
                        蒋一清
搜索引擎elasticsearch大数据搜索引擎
                        
    1、ElasticsearchTheElasticStack,包括Elasticsearch、Kibana、Beats和Logstash（也称为ELKStack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为ES，ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticStack技术栈的核心。它可以近乎实时的存储、检索
    
                    
    • 
                    
  • Elasticsearch数据库 | Elasticsearch-7.5.0应用搭建实战
                        朝槿木兮

                        
    Elasticsearch是一个可用于分布式以及符合RESTful风格的搜索和数据分析引擎。——ElasticStack官网0FNnW8.png搭建Elasticsearch的“那些事儿"BW1nxS.jpg有一天，在黄金梅丽号的甲板上，韦柏告诉萨博，需要在接下来的项目开发过程中，运用到Elasticsearch数据库，主要用于黄金梅丽号上的各种设备采集数据实时查询，或许后期还会运用于分布式日志系
    
                    
    • 
                    
  • 22.ELK-部署logstash来取日志并转发给ES
                        做咩啊～
elk运维
                        
    部署logstash来取日志并转发给ES下载logstash安装包，存放到/opt/es-software目录下载地址：https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum/elastic-6.x/6.6.0/logstash量级比filebeat重，而且比较吃内存，所以日常收集日志的工作交给filebeat来处理安装logstashrpm-i
    
                    
    • 
                    
  • 06 - ElasticStack 之 三 ：Ｘ-Pack 的安装和使用
                        AshesOfBlues
技术ElasticStackElasticSearchKibanaX-Pack
                        
    1.什么是X-Pack？有什么作用？X-pack是一个ElasticStack的扩展，可以提供安全策略、警报、监视器、报告和图形分析功能且易于安装的包集合。比如说安全功能：用户验证、节点/客户端认证和信道加密、访问控制等等。如不让别人直接访问ElasticSearch和Kibana的端口。监控功能：监控集群的使用情况，cpu、磁盘的负载情况等等。2.安装：（1）安装好ES和Kibana（2）下载X
    
                    
    • 
                    
  • Elastic Stack 7.5 X-Pack 安全功能部署
                        运维开发故事
elk安全elasticsearchbigdata
                        
    微信公众号：运维开发故事，作者：double冬场景elasticsearchkibana基本上是多人使用的,所以进行权限控制是必然，以提高安全保障在2019年5月21日，Elastic官方发布消息：ElasticStack新版本6.8.0和7.1.0的核心安全功能现免费提供。这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用Spaces为Ki
    
                    
    • 
                    
  • Elasticsearch7.x配置xpack实战
                        m0_67392661
javaelasticsearch大数据搜索引擎容器后端
                        
    2019年5月21日，Elastic官方发布消息：ElasticStack新版本6.8.0和7.1.0的核心安全功能现免费提供。这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用Spaces为Kibana提供全面保护。免费提供的核心安全功能如下：1）TLS功能。可对通信进行加密；2）文件和原生Realm。可用于创建和管理用户；3）基于角色的访
    
                    
    • 
                    
  • 初识elasticsearch
                        Maiko Star
SpringCloudelasticsearch大数据搜索引擎
                        
    一、了解ES1.1.elasticsearch的作用elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容例如：在GitHub搜索代码在电商网站搜索商品在百度搜索答案在打车软件搜索附近的车1.2.ELK技术栈elasticsearch结合kibana、Logstash、Beats，也就是elasticstack（ELK）。被广泛应用在
    
                    
    • 
                    
  • Elasticsearch：Simulate ingest API
                        Elastic 中国社区官方博客
ElasticsearchElasticelasticsearch大数据搜索引擎全文检索
                        
    Ingestpipeline为我们摄入数据提供了极大的方便。在我之前的文章中，有非常多的有关ingestpipeline的文章。请详细阅读文章“Elastic：开发者上手指南”。针对一组提供的文档执行摄取管道，可以选择使用替代管道定义。SimulateingestAPI旨在用于故障排除或管道开发，因为它实际上并不将任何数据索引到Elasticsearch中。注意：这个功能在ElasticStack
    
                    
    • 
                    
  • 使用Node.js+React+EUI快速搭建网页应用
                        SunnyZhou1024

                        
    0.起因老板要搞个Log分析工具，数据存储选用的是Elasticsearch，起初想法是做个Kibana的插件，后来觉得依靠Kibana太庞大，而且后期想要把代码直接部署在GitHubpage上，因此打算做成个独立的工具。最终选用了Node.js+React，主要原因是相中了一个ReactUI库EUI（ElasticStack推出的一个开源UI库，风格与Kibana一样），毕竟，不是谁都能写出漂亮
    
                    
    • 
                    
  • 01.Elasticsearch应用（一）
                        asadsfasfasdfas
搜索引擎elasticsearch大数据搜索引擎
                        
    Elasticsearch应用（一）1.什么是ELKELK是一个免费开源的日志分析架构技术栈总称，包含三大基础组件，分别是Elasticsearch、Logstash、Kibana。但实际上ELK不仅仅适用于日志分析，它还可以支持其它任何数据搜索、分析和收集的场景，日志分析和收集只是更具有代表性。并非唯一性2.什么是ElasticStack介绍ElasticStack是由ELK演化而来，在发展的过
    
                    
    • 
                    
  • Elasticsearch：聊天机器人、人工智能和人力资源：电信公司和企业组织的成功组合
                        Elastic 中国社区官方博客
ElasticsearchElasticAI机器人人工智能elasticsearch全文检索搜索引擎大数据
                        
    作者：来自ElasticJürgenObermann,PiotrKobziakowski让我们来谈谈大型企业人力资源领域中一些很酷且改变游戏规则的东西：生成式AI和ElasticStack的绝佳组合。现在，想象一下大型电信公司的典型人力资源部门—他们正在处理一百万件事情，对吗？从回答无休止的员工查询到处理数据和报告的细节，它可能会变得相当繁重，尤其是在电信等行业，员工地理位置分散，在现场、办公室和
    
                    
    • 
                    
  • 【分布式技术】Elastic Stack部署，实操logstash的过滤模块常用四大插件
                        liu_xueyin
分布式
                        
    目录一、ElasticStack，之前被称为ELKStack完成ELK与Filebeat对接步骤一：安装nginx做测试步骤二：完成filebeat二进制部署步骤三：准备logstash的测试文件filebeat.conf步骤四：完成实验测试二、logstash拥有强大的过滤功能，常用四种插件1、grok步骤一：现在logstash的conf文件中进行filter模块的修改，添加grok插件步骤二
    
                    
    • 
                    
  • es-kibana-logstash
                        方穹轩

                        
    es-kibana-logstashkibana[官网]https://www.elastic.co/guide/en/logstash/index.html简介一款开源的数据分析和可视化平台，它是ElasticStack成员之一，设计用于和Elasticsearch协作。您可以使用Kibana对Elasticsearch索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数
    
                    
    • 
                    
  • docker efk(filebeat+logstash+es+kibana)
                        zhangdapangzi
dockerdockerelasticsearchelk
                        
    1.系统架构通常我们说的elasticstack，也就是elk，通过es收集日志数据，存到elasticsearch，最后通过kibana进行统计分析，但是elastic公司后续又推出了新的日志收集产品beats，这里更推荐使用beats，性能更高2.搭建es2.1创建docker网络,用于不同容器间通信之前常用--linkcontainer_name，因后面--link会被官方舍弃，故改用net
    
                    
    • 
                    
  • logstack 日志技术栈-02-ELK 的缺点？loki 更轻量的解决方案？
                        老马啸西风
logELKelk开发语言日志监控ES
                        
    ELK/EFK日志系统如果今天谈论到要部署一套日志系统，相信用户首先会想到的就是经典的ELK架构，或者现在被称为ElasticStack。ElasticStack架构为Elasticsearch+Logstash+Kibana+Beats的组合，其中，Beats负责日志的采集，Logstash负责做日志的聚合和处理，Elasticsearch作为日志的存储和搜索系统，Kibana作为可视化前端展示
    
                    
    • 
                    
  • Elasticsearch的索引库和文档操作、RestClient的索引库和文档操作
                        老黄爱编码
SpringCloudelasticsearch搜索引擎springcloud
                        
    一、ElasticsearchLinux系统通过Docker安装Elasticsearch、部署kibana1.ElasticsearchElasticsearch是位于ElasticStack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。Kibana使您能够以交互方式探索、可视化和分享对数据的见解，并管理和监控堆栈
    
                    
    • 
                    
  • logstash入门篇之安装启动
                        花菜回锅肉
Logstashelasticsearch
                        
    logstash入门篇之安装启动1简介Logstash是一个功能强大的ETL（数据抽取/转换/存储）工具，常用来做数据处理和迁移。提供了大量插件，帮助解析、转换来自各种来源的数据。Logstash是elasticstack家族中一员。2下载和安装下载下载推荐到elastic中文社区，里面有elastic系列里所有的开源产品下载链接，地址如下：https://elasticsearch.cn/dow
    
                    
    • 
                    
  • ElasticSearch入门
                        糖屋
elasticsearch大数据搜索引擎
                        
    一。ElasticSerch的应用场景。1.简介ElasticSerach是一个分布式，高性能，高可用，可伸缩，RESTful风格的搜索和数据分析引擎。通常作为ElasticStack的核心来使用。ES是一个近实时的搜索引擎。ElasticSerch在实际生产里通常和LogStash,Kibana,FileBeat一起构成ElasticStack来使用，它是这些组件里面最核心的一个2.Elasti
    
                    
    • 
                    
  • ElasticSearch引擎
                        自己的九又四分之三站台
#NoSqlelasticsearch大数据搜索引擎
                        
    Elasticsearch是一个强大的开源搜索和分析引擎，主要用于全文搜索、结构化搜索、分析以及这三者的组合。它基于ApacheLucene构建，提供了一个分布式、多租户能力的全文搜索引擎，具有HTTPWeb接口和无模式的JSON文档。Elasticsearch是ElasticStack的核心组件，ElasticStack还包括Kibana、Logstash和Beats，广泛用于日志分析、实时数据
    
                    
    • 
                    
  • Elastic Stack之Elasticsearch 5.6.12 集群部署实战
                        weixin_34380296

                        
    ElasticStack之Elasticsearch5.6.12集群部署实战作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.下载ElasticSearch1>.查看ElasticSearch的发型版本（https://www.elastic.co/downloads/past-releases）2>.选择目前生产环境用的较多的版本3>.下载ElasticSearch（https:
    
                    
    • 
                                
  • C/C++Win32编程基础详解视频下载
                                    择善Zach
编程C++Win32
                                    
    课题视频：C/C++Win32编程基础详解 
视频知识：win32窗口的创建 
                  windows事件机制 
主讲：择善Uncle老师 
学习交流群：386620625 
验证码：625 
 
--
    
                                
    • 
                                
  • Guava Cache使用笔记
                                    bylijinnan
javaguavacache
                                    
    1.Guava Cache的get/getIfPresent方法当参数为null时会抛空指针异常 
 
我刚开始使用时还以为Guava Cache跟HashMap一样，get(null)返回null。 
实际上Guava整体设计思想就是拒绝null的，很多地方都会执行com.google.common.base.Preconditions.checkNotNull的检查。 
 
 
2.Guava
    
                                
    • 
                                
  • 解决ora-01652无法通过128（在temp表空间中）
                                    0624chenhong
oracle
                                    
    解决ora-01652无法通过128（在temp表空间中）扩展temp段的过程 
 
一个sql语句后，大约花了10分钟，好不容易有一个结果，但是报了一个ora-01652错误，查阅了oracle的错误代码说明：意思是指temp表空间无法自动扩展temp段。这种问题一般有两种原因：一是临时表空间空间太小，二是不能自动扩展。 
分析过程： 
   既然是temp表空间有问题，那当
    
                                
    • 
                                
  • Struct在jsp标签
                                    不懂事的小屁孩
struct
                                    
    非UI标签介绍： 
控制类标签： 
1：程序流程控制标签   if   elseif    else 
<s:if test="isUsed"> 
 <span class="label label-success">True</span> 
</
    
                                
    • 
                                
  • 按对象属性排序
                                    换个号韩国红果果
JavaScript对象排序
                                    
    利用JavaScript进行对象排序，根据用户的年龄排序展示 
 
<script>
var bob={
name;bob,
age:30
}
var peter={
name;peter,
age:30
}
var amy={
name;amy,
age:24
}
var mike={
name;mike,
age:29
}
var john={

    
                                
    • 
                                
  • 大数据分析让个性化的客户体验不再遥远
                                    蓝儿唯美
数据分析
                                    
    顾客通过多种渠道制造大量数据，企业则热衷于利用这些信息来实现更为个性化的体验。 
分析公司Gartner表示，高级分析会成为客户服务的关键，但是大数据分析的采用目前仅局限于不到一成的企业。 挑战在于企业还在努力适应结构化数据，疲于根据自身的客户关系管理（CRM）系统部署有效的分析框架，以及集成不同的内外部信息源。 
然而，面对顾客通过数字技术参与而产生的快速变化的信息，企业需要及时作出反应。要想实
    
                                
    • 
                                
  • java笔记4
                                    a-john
java
                                    
    操作符 
1，使用java操作符 
      操作符接受一个或多个参数，并生成一个新值。参数的形式与普通的方法调用不用，但是效果是相同的。加号和一元的正号（+）、减号和一元的负号（-）、乘号（*）、除号（/）以及赋值号（=）的用法与其他编程语言类似。 
      操作符作用于操作数，生成一个新值。另外，有些操作符可能会改变操作数自身的
    
                                
    • 
                                
  • 从裸机编程到嵌入式Linux编程思想的转变------分而治之：驱动和应用程序
                                    aijuans
嵌入式学习
                                    
        笔者学习嵌入式Linux也有一段时间了，很奇怪的是很多书讲驱动编程方面的知识，也有很多书将ARM9方面的知识，但是从以前51形式的（对寄存器直接操作，初始化芯片的功能模块）编程方法，和思维模式，变换为基于Linux操作系统编程，讲这个思想转变的书几乎没有，让初学者走了很多弯路，撞了很多难墙。 
    笔者因此写上自己的学习心得，希望能给和我一样转变
    
                                
    • 
                                
  • 在springmvc中解决FastJson循环引用的问题
                                    asialee
循环引用fastjson
                                    
              我们先来看一个例子： 
          
package com.elong.bms;

import java.io.OutputStream;
import java.util.HashMap;
import java.util.Map;

import co
    
                                
    • 
                                
  • ArrayAdapter和SimpleAdapter技术总结
                                    百合不是茶
androidSimpleAdapterArrayAdapter高级组件基础
                                    
    ArrayAdapter比较简单，但它只能用于显示文字。而SimpleAdapter则有很强的扩展性，可以自定义出各种效果 
  
ArrayAdapter;的数据可以是数组或者是队列 
  
     // 获得下拉框对象 
AutoCompleteTextView textview = (AutoCompleteTextView) this

    
                                
    • 
                                
  • 九封信
                                    bijian1013
人生励志
                                    
            有时候，莫名的心情不好，不想和任何人说话，只想一个人静静的发呆。有时候，想一个人躲起来脆弱，不愿别人看到自己的伤口。有时候，走过熟悉的街角，看到熟悉的背影，突然想起一个人的脸。有时候，发现自己一夜之间就长大了。         2014，写给人
    
                                
    • 
                                
  • Linux下安装MySQL Web 管理工具phpMyAdmin
                                    sunjing
PHPInstallphpMyAdmin
                                    
    PHP http://php.net/ 
phpMyAdmin http://www.phpmyadmin.net 
Error compiling PHP on CentOS x64 
  
一、安装Apache 
请参阅http://billben.iteye.com/admin/blogs/1985244 
  
二、安装依赖包 
sudo yum install gd 
    
                                
    • 
                                
  • 分布式系统理论
                                    bit1129
分布式
                                    
    FLP 
One famous theory in distributed computing, known as FLP after the authors Fischer, Lynch, and Patterson, proved that in a distributed system with asynchronous communication and process crashes, 
    
                                
    • 
                                
  • ssh2整合(spring+struts2+hibernate)-附源码
                                    白糖_
eclipsespringHibernatemysql项目管理
                                    
    最近抽空又整理了一套ssh2框架，主要使用的技术如下： 
spring做容器，管理了三层(dao,service,actioin)的对象 
struts2实现与页面交互(MVC)，自己做了一个异常拦截器，能拦截Action层抛出的异常 
hibernate与数据库交互 
BoneCp数据库连接池，据说比其它数据库连接池快20倍，仅仅是据说 
MySql数据库 
  
项目用eclipse
    
                                
    • 
                                
  • treetable bug记录
                                    braveCS
table
                                    
    // 插入子节点删除再插入时不能正常显示。修改：
//不知改后有没有错，先做个备忘
 Tree.prototype.removeNode = function(node) {
      // Recursively remove all descendants of +node+
      this.unloadBranch(node);

      // Remove
    
                                
    • 
                                
  • 编程之美-电话号码对应英语单词
                                    bylijinnan
java算法编程之美
                                    
    

import java.util.Arrays;

public class NumberToWord {

	/**
	 * 编程之美 电话号码对应英语单词
	 * 题目：
     *  手机上的拨号盘，每个数字都对应一些字母，比如2对应ABC，3对应DEF.........，8对应TUV，9对应WXYZ，
     *  要求对一段数字，输出其代表的所有可能的字母组合
    
                                
    • 
                                
  • jquery ajax读书笔记
                                    chengxuyuancsdn
jQuery ajax
                                    
    1、jsp页面 
 
<%@ page language="java" import="java.util.*" pageEncoding="GBK"%>
<%
String path = request.getContextPath();
String basePath = request.getScheme()
    
                                
    • 
                                
  • JWFD工作流拓扑结构解析伪码描述算法
                                    comsci
数据结构算法工作活动J#
                                    
      对工作流拓扑结构解析感兴趣的朋友可以下载附件，或者下载JWFD的全部代码进行分析 
 
 
  /*  流程图拓扑结构解析伪码描述算法 
 
        public java.util.ArrayList DFS(String graphid, String stepid, int j) 
    
                                
    • 
                                
  • oracle I/O 从属进程
                                    daizj
oracle
                                    
    I/O 从属进程 
 
　　I/O从属进程用于为不支持异步I/O的系统或设备模拟异步I/O.例如，磁带设备(相当慢)就不支持异步I/O.通过使用I/O 从属进程，可以让磁带机模仿通常只为磁盘驱动器提供的功能。就好像支持真正的异步I/O 一样，写设备的进程(调用者)会收集大量数据，并交由写入器写出。数据成功地写出时，写入器(此时写入器是I/O 从属进程，而不是操作系统)会通知原来的调用者，调用者则会
    
                                
    • 
                                
  • 高级排序:希尔排序
                                    dieslrae
希尔排序
                                    
    
    public void shellSort(int[] array){
        int limit = 1;
        int temp;
        int index;
        
        while(limit <= array.length/3){
            limit = limit * 3 + 1;
    
    
                                
    • 
                                
  • 初二下学期难记忆单词
                                    dcj3sjt126com
englishword
                                    
    kitchen 厨房 
cupboard 厨柜 
salt 盐 
sugar 糖 
oil 油 
fork 叉；餐叉 
spoon 匙；调羹 
chopsticks 筷子 
cabbage 卷心菜；洋白菜 
soup 汤 
Italian 意大利的 
  
Indian 印度的 
workplace  工作场所 
even 甚至；更 
Italy 意大利 
laugh 笑 
m
    
                                
    • 
                                
  • Go语言使用MySQL数据库进行增删改查
                                    dcj3sjt126com
mysql
                                    
    目前Internet上流行的网站构架方式是LAMP，其中的M即MySQL, 作为数据库，MySQL以免费、开源、使用方便为优势成为了很多Web开发的后端数据库存储引擎。MySQL驱动Go中支持MySQL的驱动目前比较多，有如下几种，有些是支持database/sql标准，而有些是采用了自己的实现接口,常用的有如下几种: 
 
  http://code.google.c...o-mysql-dri
    
                                
    • 
                                
  • git命令
                                    shuizhaosi888
git
                                    
    ---------------设置全局用户名：
git config --global user.name "HanShuliang" //设置用户名 
git config --global user.email "[email protected]" //设置邮箱

---------------查看环境配置
git config --li
    
                                
    • 
                                
  • qemu-kvm 网络 nat模式 (四)
                                    haoningabc
kvmqemu
                                    
    qemu-ifup-NAT 
 

#!/bin/bash
BRIDGE=virbr0
NETWORK=192.168.122.0
GATEWAY=192.168.122.1
NETMASK=255.255.255.0
DHCPRANGE=192.168.122.2,192.168.122.254
TFTPROOT=
BOOTP=
function check_bridge()

    
                                
    • 
                                
  • 不要让未来的你，讨厌现在的自己
                                    jingjing0907
生活 奋斗 工作 梦想
                                    
     故事one 
　23岁，他大学毕业，放弃了父母安排的稳定工作，独闯京城，在家小公司混个小职位，工作还算顺手，月薪三千，混了混，混走了一年的光阴。　　　　24岁，有了女朋友，从二环12人的集体宿舍搬到香山民居，一间平房，二人世界，爱爱爱。偶然约三朋四友，打扑克搓麻将，日子快乐似神仙；　　　　25岁，出了几次差，调了两次岗，薪水涨了不过百，生猛狂飙的物价让现实血淋淋，无力为心爱银儿购件大牌
    
                                
    • 
                                
  • 枚举类型详解
                                    一路欢笑一路走
enum枚举详解enumsetenumMap
                                    
    枚举类型详解 
一.Enum详解 
     1.1枚举类型的介绍 
  
JDK1.5加入了一个全新的类型的”类”—枚举类型，为此JDK1.5引入了一个新的关键字enum,我们可以这样定义一个枚举类型。 
  
   Demo:一个最简单的枚举类 
  
public enum ColorType {
   RED
    
                                
    • 
                                
  • 第11章 动画效果（上）
                                    onestopweb
动画
                                    
    index.html 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
    
                                
    • 
                                
  • Eclipse中jsp、js文件编辑时，卡死现象解决汇总
                                    ljf_home
eclipsejsp卡死js卡死
                                    
    使用Eclipse编辑jsp、js文件时，经常出现卡死现象，在网上百度了N次，经过N次优化调整后，卡死现象逐步好转，具体那个方法起到作用，不太好讲。将所有用过的方法罗列如下： 
  
1、取消验证 
windows–>perferences–>validation 
把 除了manual 下面的全部点掉，build下只留 classpath dependency Valida
    
                                
    • 
                                
  • MySQL编程中的6个重要的实用技巧
                                    tomcat_oracle
mysql
                                    
    每一行命令都是用分号(;)作为结束 
对于MySQL，第一件你必须牢记的是它的每一行命令都是用分号(;)作为结束的，但当一行MySQL被插入在PHP代码中时，最好把后面的分号省略掉，例如： 
mysql_query("INSERT INTO tablename(first_name,last_name)VALUES('$first_name',$last_name')"); 

    
                                
    • 
                                
  • zoj 3820 Building Fire Stations(二分+bfs)
                                    阿尔萨斯
Build
                                    
     题目链接：zoj 3820 Building Fire Stations 
 题目大意：给定一棵树，选取两个建立加油站，问说所有点距离加油站距离的最大值的最小值是多少，并且任意输出一种建立加油站的方式。 
 解题思路：二分距离判断，判断函数的复杂度是o(n)，这样的复杂度应该是o(nlogn)，即使常数系数偏大，但是居然跑了4.5s，也是醉了。 判断函数里面做了3次bfs，但是每次bfs节点最多
    
                                
    •