Elasticsearch学习笔记（9）

目录

在ELasticsearch安装X-pack

默认情况下，当你安装Elasticsearch时，X-pack也被安装了。请看installing Elasticsearch。

设置X-pack

X-Pack是一个弹性的堆栈扩展，它提供安全、警报、监视、报告、机器学习和许多其他功能。

如果你想尝试X-Pack的所有功能，你可以开始一个30天的试用。在试用期结束时，您可以购买订阅来继续使用X-Pack组件的全部功能。更多信息请看 https://www.elastic.co/subscriptions.

• 安装X-pack
• 配置监控
• 配置安全
• 配置X-pack Java 客户端
• X-pack设置
• X-pack引导检查

在Elasticsearch中配置监控

如果在集群中启用弹性监视特性，那么有两种方法可以收集关于弹性搜索的度量：

• Collecting monitoring data
• Collecting monitoring data with Metricbeat
  了解一般的监控，请看Monitoring the Elastic Stack

收集监控数据

如果启用集群中的弹性监视特性，您可以选择收集关于Elasticsearch的指标。默认情况下，监视是启用的，但是数据收集是禁用的。

该方法涉及到使用导出器将指标发送到监视集群。作为替代方法，请看Collecting monitoring data with Metribeat。

注意：如果希望从Beats和Logstash等源收集监视数据并将其路由到监视集群，则必须遵循此方法。您还不能使用Metricbeat为这些产品运送监视数据。

先进的监测设置，使您能够控制多久收集数据，配置超时，并为本地存储的监视索引设置保留期。您还可以调整监视数据的显示方式。

要了解一般的监控，请看Monitoring the Elastic Stack

1、配置你的集群去收集监控数据：
　　a.查证xpack.monitoring.enabled设置为true，在集群中的每个节点上，这是它的默认值。更多信息请看Monitoring settings.
　　b.查证xpack.monitoring.elasticsearch.collection.enabled设置为true，在集群中的每个节点上，这是它的默认值。
　　　　注意：您可以在每个节点上在elasticsearch.yml文件中指定此设置，或者跨集群作为一个动态集群设置。如果启用了Elasticsearch安全特性，则必须具有monitor集群特权来查看集群设置和manage集群特权来更改它们。
　　　　更多信息，请看Monitoring settings和Cluster Update Settings
　　c.在集群中的每个节点上设置xpack.monitoring.collection.enabled为true。默认情况下，它是不可用的（false）。
　　　　注意：您可以在每个节点上在elasticsearch.yml文件中指定此设置，或者跨集群作为一个动态集群设置。如果启用了Elasticsearch安全特性，则必须具有monitor集群特权来查看集群设置和manage集群特权来更改它们。
　　例如， 使用下面的APIs查看并更改此设置：

curl -X GET "localhost:9200/_cluster/settings"
curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
　　"persistent": {
　　　　"xpack.monitoring.collection.enabled": true
　　}
}
'

或者，您可以在Kibana中启用此设置。在侧导航中，单击Monitoring。如果数据收集被禁用，系统会提示您打开它。
　　d.可选:指定要监视哪些索引
　　默认情况下，监测代理从所有的弹性搜索索引中收集数据。从特定索引收集数据，配置xpack.monitoring.collection.indices设置。您可以指定多个索引用一个逗号分隔的列表，或者使用索引模式来匹配多个索引。例如：

xpack.monitoring.collection.indices: logstash-*, index1, test2

可以在索引名或模式前增加+或-显式地包含或排除。例如，包含所有test开头的所有索引除了test3，你可以指定为+test，-test3

2.确定在何处存储监视数据
　　默认情况下，数据通过使用local exporter存储在同一个集群中。或者，你可以使用一个http exporter来发送数据到单独的监控集群。更多信息关于典型的监控架构，请看How Monitoring Works.

3.如果你选择用一个http exporter
a.在您希望监视的集群上(通常称为生产集群)，配置每个节点，以便将指标发送到监视集群。在elasticsearch.yml文件中配置一个HTTP exporter在xpack.monitoring.exporters设置上。例如：

xpack.monitoring.exporters:
　　id1:
　　　　type: http
　　　　host: ["http://es-mon-1:9200", "http://es-mon2:9200"]

b.如果监控集群上启用了弹性安全特性，在将数据传送到监视集群时，必须提供适当的凭据：
　　i.在监视集群上创建具有内置的remote_monotoring_agent权限的用户，或者，使用内置的remote_monitoring_user用户。
　　ii.在每个节点的elasticsearch.yml文件中增加用户id和密码设置，在设置HTTP exporter的时候。
　　例如：

xpack.monitoring.exporters:
　　id1:
　　　　type: http
　　　　host: ["http://es-mon-1:9200", "http://es-mon2:9200"]
　　　　auth.username: remote_monitoring_user
　　　　auth.password: YOUR_PASSWORD

c.如果您将监视集群配置为使用加密通信，则必须在主机设置中使用HTTPS协议。您还必须指定将用于验证监视集群中的节点标识的受信任CA证书。
i. 要将CA证书添加到Elasticsearch节点的受信任证书，可以使用certificate_authority设置指定PEM编码的证书的位置。例如：

xpack.monitoring.exporters:
　　id1:
　　　　type: http
　　　　host: ["https://es-mon1:9200", "https://es-mon2:9200"]
　　　　auth:
　　　　　　username: remote_monitoring_user
　　　　　　password: YOUR_PASSWORD
　　　　ssl:
　　　　　　certificate_authorities: [ "/path/to/ca.crt" ]

ii.或者，您可以使用信任存储库(包含证书的Java Keystore文件)配置受信任证书。例如：

xpack.monitoring.exporters:
　　id1:
　　　　type: http
　　　　host: ["https://es-mon1:9200", "https://es-mon2:9200"]
　　　　auth:
　　　　　　username: remote_monitoring_user
　　　　　　password: YOUR_PASSWORD
　　　　ssl:
　　　　　　truststore.path: /path/to/file
　　　　　　truststore.password: password

4.将集群配置为将监视数据从Kibana、Beats和Logstash等源路由到监视集群。有关配置每个产品以收集和发送监视数据的信息，请参见Monitoring the Elastic Stack。

5.如果你更新设置在弹性搜索。在您的生产集群上的elasticsearch.yml文件，重新启动Elasticsearch。

TIP:您可能希望在重新启动节点之前暂时禁用碎片分配，以避免在安装过程中不必要的碎片重新分配。

6.可选：Configure the indices that store the monitoring data

7. View the monitoring data in Kibana.

用Metricbeat收集Elasticsearch监控数据

警告：此功能还处于测试阶段，可能会有更改。设计和代码还没有正式的GA功能成熟，并且是按原样提供的，没有任何保证。Beta特性不受官方GA特性的SLA支持。

在6.5之后，你可以使用Metricbeat来收集关于ELasticsearch的数据，并将其发送到监控集群，而不是像Collecting monitoring data里介绍的使用通过导出器路由。

image

学习关于一般的监控，参见Monitoring the Elastic Stack.

1. 启用监控数据的收集功能。设置xpack.monitoring.collection.enable为true在生产集群的每个节点上，默认情况下，这是不可用的（false）。

注意：****您可以在每个节点上在elasticsearch.yml文件中指定此设置，或者跨集群作为一个动态集群设置。如果启用了Elasticsearch安全特性，则必须具有monitor集群特权来查看集群设置和manage集群特权来更改它们。

例如：你可以使用下面的APIs来查看和改变这个设置：

curl -X GET "localhost:9200/_cluster/settings"
curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
　　"persistent": {
　　　　"xpack.monitoring.collection.enabled": true
　　}
}
'

更多信息，请参见 Monitoring settings 和 Cluster Update Settings.

2.禁用默认的弹性搜索监视指标集合。设置xpack.monitoring.elasticsearch.collection.enabled为false在生产集群的每个节点上。

注意：****您可以在每个节点上在elasticsearch.yml文件中指定此设置，或者跨集群作为一个动态集群设置。如果启用了Elasticsearch安全特性，则必须具有monitor集群特权来查看集群设置和manage集群特权来更改它们。
例如，你可以使用下面的API来改变这个设置：

curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
　　"persistent": {
　　　　"xpack.monitoring.elasticsearch.collection.enabled": false
　　}
}
'

保留xpack.monitoring.enabled设置为它的默认值（true）。

3. 在生产集群的每个节点上：
   　　a.1. Install Metricbeat.
   　　b.在Metricbeat中启用弹性搜索模块
   　　例如，要启用在modules.d目录下的默认配置，运行下面的命令：

metricbeat modules enable elasticsearch

更多信息，请参见 Specify which modules to run 和Elasticsearch module.

c.在Metricbeat中配置Elasticsearch模块
　　你必须在moudles.d/elasticsearch.yml文件中指定以下设置：

- module: elasticsearch
metricsets:
　　- ccr
　　- cluster_stats
　　- index
　　- index_recovery
　　- index_summary
　　- ml_job
　　- node_stats
　　- shard
period: 10s
hosts: ["http://localhost:9200"]   # 1
xpack.enabled: true  # 2

1.此设置标识用于访问Elasticsearch的主机和端口号。
2.此设置确保Kibana能够成功读取此监视数据。也就是说，它存储在与 exporters发送的监控数据相同的位置和格式中。

d.如果Elastic的安全特性被启用， 您还必须提供用户ID和密码，以便Metricbeat能够成功收集指标。
　　i.在生产集群上创建一个具有内置的remote_monitoring_collector权限的用户。或者，使用内置的用户remote_monitoring_user.
　　ii.增加username和password设置到ELasticsearch模块的配置文件。
　　例如，在modules.d/elasticsearch.yml文件中增加下面的设置：

- module: elasticsearch
  ...
  username: remote_monitoring_user
  password: YOUR_PASSWORD

e.如果你配置了Elasticsearch使用加密通信，你必须通过HTTPS访问它。例如，在moudles.d/elasticsearch.yml文件里使用一个hosts设置像https://localhost:9200.

f.确定将监视数据发送到何处。
TIPS：在生产环境，我们强烈建议使用一个分开的集群（称为监控集群）来存储数据。使用分开的监控集群防止生产集群中断影响您访问监视数据的能力。它还可以防止监视活动影响生产集群的性能。

例如，在Metricbeat配置文件(Metricbeat .yml)中指定Elasticsearch输出信息：

output.elasticsearch:

hosts: ["https://es-mon-1:9200","https://es-mon-2:9200"]

在这个例子中，数据存储在一个监控集群带有节点es-mon-1和es-mon-2.

更多关于配置项的信息，请参见Configure the Elasticsearch output.

g.如果在集群上启用了Elasticsearch的安全特性，你必须提供一个有效的用户ID和密码以便Metricbeat能够成功的发送指标。
　　i.在监控集群上创建一个具有内置的remote_monitoring_agent权限的用户。或者，使用内置的用户remote_monitoring_user.
　　ii.增加username和password设置到ELasticsearch输出信息配置在Metricbeat配置文件中（metricbeat.yml）：

output.elasticsearch:
  ...
  username: remote_monitoring_user
  password: YOUR_PASSWORD

h.如果你配置了监控集群使用加密通信，你必须通过HTPPS访问它。例如，使用一个hosts设置像https://es-mon-1:9200在metricbeat.yml文件中。

4.启动ELasticsearch
5.启动Metricbeat
6.在Kibana查看监控数据

下一章 —— Elasticsearch学习笔记（10）