ES集群搭建及使用

1. 前置条件

操作系统	Centos7
java环境	jdk1.8
基本软件	git、zip、npm等

2. Elasticsearch

开源分布式搜索引擎，提供存储、分析、搜索功能。特点：分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。主要用于数据的快速检索。

 

注：启动过程中存在问题请参考 centos7下部署elasticsearch常见错误

2.1 安装包下载：

wget -b https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.0.tar.gz

2.2 解压：

tar -zxvf elasticsearch-6.3.0.tar.gz  

2.3 新建用户组、用户、数据存储目录：

es不允许使用root用户.

groupadd es
useradd es -g es -p silianbo
chown -R es:es  elasticsearch-6.3.0

mkdir -p /opt/tools/elasticsearch-6.3.0/data
mkdir -p /opt/tools/elasticsearch-6.3.0/log

chown -R es.es /opt/tools/elasticsearch-6.3.0/*

2.4 修改配置文件

elasticsearch-6.3.0/config/elasticsearch.yml

cluster.name: my-els #集群的名称
node.name: node-01 #节点的名字
node.master: true #该节点有机会成为master节点
node.data: true #该节点可以存储数据
path.data: /opt/tools/elasticsearch-6.3.0/data                # 数据的默认存放路径
path.logs: /opt/tools/elasticsearch-6.3.0/log                  # 日志的默认存放路径
network.bind_host: 0.0.0.0 #设置绑定的IP地址，可以是IPV4或者IPV6
network.publish_host: 192.168.80.128 #设置其他节点与该节点交互的IP地址
network.host: 192.168.80.128 #该参数用于同时设置bind_host和publish_host
transport.tcp.port: 9300 #设置节点之间交互的端口号
transport.tcp.compress: true #设置是否压缩tcp上交互传输的数据
http.port: 9200 #设置对外服务的http端口号
http.max_content_length: 100mb #设置http内容的最大大小
http.enabled: true #是否开启http服务对外提供服务
#discovery.zen.minimum_master_nodes: 2 #设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。官方推荐（N/2）+1
discovery.zen.ping_timeout: 120s #设置集群中自动发现其他节点时ping连接的超时时间
# 集群个节点IP地址,或者节点名称（node-01）
discovery.zen.ping.unicast.hosts: ["192.168.80.6", "192.168.80.7","192.168.80.8"]    
http.cors.enabled: true  #跨域连接相关设置
http.cors.allow-origin: "*"  #跨域连接相关设置 

 

2.5 启动命令：

elasticsearch-6.3.0/bin/elasticsearch 

 

验证是否安装成功：

http://192.168.119.128:9200/

 

2.6 Elasticsearch可视化head插件安装

对数据的展示和查询

 

下载地址

修改es配置：

elasticsearch.yml 在文档的最末端加入

http.cors.enabled: true
http.cors.allow-origin: "*"

启动：

npm run start

验证是否安装成功：

http://192.168.119.128:9100/

 

 

3. kibana

Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分析与可视化的目的。

3.1 kibana安装包

wget -b https://artifacts.elastic.co/downloads/kibana/kibana-6.3.0-linux-x86_64.tar.gz

3.2  解压修改配置

tar -zxvf kibana-6.3.0-linux-x86_64.tar.gz

kibana-6.3.0-linux-x86_64/config/kibana.yml

      1 # Kibana is served by a back end server. This setting specifies the port to use.
      2 #server.port: 5601
      3 
      4 server.port: 5601       ##服务端口
      5 server.host: "0.0.0.0"  ##服务器ip  本机
      6 
      7 elasticsearch.url: "http://192.168.119.128:9200" ##elasticsearch服务地址 与elasticsearch对应

3.3 启动验证

kibana-6.3.0-linux-x86_64/bin/kibana 

打开地址：http://192.168.119.128:5601

 

 

4. logstash

• Logstash：下载链接

wget -b https://artifacts.elastic.co/downloads/logstash/logstash-6.3.0.tar.gz

tar -zxvf logstash-6.3.0.tar.gz

5. filebeat

 

• Filebeat：下载链接

wget -b https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.0-linux-x86_64.tar.gz

tar -zxvf filebeat-6.3.0-linux-x86_64.tar.gz