1.安装elasticsearch
1.将上传的的elasticsearch-2.3.1.tar.gz包解压,解压之后命名为:elasticsearch,至于安装包里面含有上面内容,请自行使用命令ls -l查看。
d.1 tar -zxvf elasticsearch-2.3.1.tar.gz
d.2 mv elasticsearch-2.3.1 elasticsearch
2.初步修改
打开/home/zkpk/elasticsearch-node1/config目录下的elasticsearch.yml 文件 ,修改以下属性值并取消该行的注释:
cluster.name: elasticsearch #这是集群名字,我们 起名为 elasticsearch。es启动后会将具有相同集群名字的节点放到一个集群下。
node.name: "es-node1" #节点名字。 covery.zen.minimum_master_nodes: 2 #指定集群中的节点中有几个有master资格的节点。对于大集群可以写3个以上。 discovery.zen.ping.timeout: 40s #默认是3s,这是设置集群中自动发现其它节点时ping连接超时时间,为避免因为网络差而导致启动报错,我设成了40s。 discovery.zen.ping.multicast.enabled: false #设置是否打开多播发现节点,默认是true。 network.bind_host: 192.168.137.100 #设置绑定的ip地址,这是我的master虚拟机的IP。 network.publish_host: 192.168.137.100 #设置其它节点和该节点交互的ip地址。 network.host: 192.168.137.100 #同时设置bind_host和publish_host上面两个参数。 discovery.zen.ping.unicast.hosts: ["192.168.137.100", "192.168.137.101","192.168.137.100:9301"] #discovery.zen.ping.unicast.hosts:["节点1的 ip","节点2 的ip","节点3的ip"] 指明集群中其它可能为master的节点ip,以防es启动后发现不了集群中的其他节点。第一对引号里是node1,默认端口是9300。第二个是 node2 ,在另外一台机器上。第三个引号里是node3,因为它和node1在一台机器上,所以指定了9301端口。
进一步修改
拷贝 elasticsearch-node1 整个文件夹,两份,一份elasticsearch-node2,一份elasticsearch-node3.
将elasticsearch-node2 文件夹copy到另外一台IP为192.168.137.101的机器上。而在 192.168.137.100 机器上有 node1和node3.
对于node3: node3和node1在一台机器上,node1的配置文件里端口默认分别是9300和9200,所以要改一下node3配置文件里的端口,elasticsearch.yml 文件修改如下:
node.name: "es-node3" transport.tcp.port: 9301 http.port: 9201
对于node2: 对 elasticsearch.yml 修改如下
node.name: "es-node2" network.bind_host: 192.168.137.101 network.publish_host: 192.168.137.101 network.host: 192.168.137.101
注意:
1.对于单机多节点的es集群,一定要注意修改 transport.tcp.port 和http.port 的默认值保证节点间不冲突。
2. 出现找不到同一集群中的其他节点的情况,检查下 discovery.zen.ping.unicast.hosts 是否已设置
cluster.name: es-jacky
path.data: /app/elasticsearch/data
path.logs: /app/elasticsearch/logs
network.host: 10.202.35.88
discovery.zen.ping.unicast.hosts: ["10.202.35.88"]
3.启动关闭
.bin/elasticsearch -d
ps -ef | grep elastic 查看应用的进程号
kill -9 进程号
4.访问验证
http://10.202.35.88:9200/
2.安装ElasticSearch_Head配置
a.Elasticsearch Head是集群管理、数据可视化、增删改查、查询语句可视化工具,它的安装方式有两种,一种是使用命令安装,一种是下载包安装。
b.命令安装
b.1 cd /usr/local/kencery/elasticsearch/elasticsearch
b.2 ./bin/plugin -install mobz/elasticsearch-head(*)
提示错误,错误信息是:ERROR: unknown command [-install]. Use [-h] option to list available commands,这是因为Elasticsearch在2.0以上的版本将-install变成了install。
b.3 故而执行命令 ./bin/plugin install mobz/elasticsearch-head即可。
[zkpk@master bin]$ ./plugin install lukas-vlcek/bigdesk
b.4 详细信息请看:https://github.com/mobz/elasticsearch-head下面的README.md文件。
c.下载包安装
c.1 在准备下载包的时候我们已经将包下载到电脑本地了,所以讲下载下来的包(elasticsearch-head-master)解压elasticsearch-head-master文件夹。
c.2 在Elasticsearch的安装的plugin下创建目录head
cd /usr/local/kencery/elasticsearch/elasticsearch/plugins/
mkdir head
c.3 跳转到head文件夹下,将刚才解压的elasticsearch-head-master文件夹下的所有文件拷贝到head目录下,如图所示:
c.4 重新启动ElasticSearch,使用http://192.168.37.137:9200/_plugin/head/访问浏览器,如图所示,则说明安装成功。
访问验证
http://10.202.35.88:9200/_plugin/head/
3.安装kibana
1.解压
tar zxvf kibana-4.6.5-linux-x86_64.tar.gz
2.修改配置
vi /app/kibana-4.6.5-linux-x86_64/config/kibana.yml
elasticsearch.url: "http://10.202.35.88:9200"
3.启动
./bin/kibana &
4.访问验证
http://10.202.35.88:5601/
4.安装filebeat
1.解压
tar zxvf filebeat-1.3.1-x86_64.tar.gz
2.修改配置
vi /home/sfapp/filebeat-1.3.1-x86_64/filebeat.yml
paths:
- /app/push-service/logs/info/*.log
input_type: log
document_type: sit
配置多个log路径
paths:
- /app/codis/logs/redis6380.log
input_type: log
document_type: log6380
hosts: ["10.202.35.88:9200"]
index: "push"
配置多个日志路径
解决方案:通过配置多个 prospector 就能达到要求。在配置文件的 prospectors 下,每个"-"表示一个 prospector,每个 prospector 包含一些配置项,指明这个 prospector 所要读取的日志信息。如下所示:
prospectors:
-
paths:
- /home/WLPLog/*.log
- /home/PUSH/*.log
# 其他配置项,具体参考 Elastic 官网
prospectors:
-
paths:
- /home/WLPLog/*.log
- /home/PUSH/*.log
# 其他配置项,具体参考 Elastic 官网
3.启动
./filebeat &