ELK日志分析系统

ELK 是 ElasticSearch、 LogStash、 Kibana 三个开源工具的简称

• LogStash/Beats: 负责数据的收集与处理
• ElasticSearch: 一个开源的分布式搜索引擎，负责数据的存储、检索和分析
• Kibana: 提供了可视化的界面。负责数据的可视化操作

一、部署Elasticsearch软件

1）安装Elasticsearch软件

rpm -ivh elasticsearch-5.5.0.rpm

systemctl daemon-reload
systemctl enable elasticsearch

更改Elasticsearch主配置文件

vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster    #群集的名字
node.name: node1        #节点的名字
path.data: /data/elk_data    #数据存放路径
path.logs: /var/log/elasticsearch    #日志存放路径
bootstrap.memory_lock: false    #在启动的时候不锁定内存
network.host: 0.0.0.0    #提供服务绑定的IP地址。0.0.0.0代表所有地址
http.port: 9200    #侦听端口
discovery.zen.ping.unicast.hosts: ["node1","node2"]    #群集发现通过单播实现

创建数据存放路径并授权，要为第二个节点设置相同

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data

启动Elasticsearch

systemctl start elasticsearch

通过浏览器打开连接

通过浏览器输入http://192.168.248.10:9200/_cluster/health?pretty查看群集的健康情况

通过浏览器输入http://192.168.248.10:9200/_cluster/state?pretty查看群集的状态信息

2)安装Elasticsearch-head插件

tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1
./configure && make && make install

安装phantomjs

cd /usr/local/src
tar xvjf phantomjs-2.1.1-linux-x86_64.tar.gz
cd phantomjs-2.1.1-lunux-x86_64/bin
cp phantomjs /usr/local/bin

安装Elasticsearch-head

cd /usr/local/src
tar xvzf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install    #安装依赖包

修改Elasticsearch主配置文件末尾添加一下内容，并启动服务

http.cors.enabled: true
http.cors.allow-origin: "*"


systemctl restart elasticsearch

npm run start &    #前台启动，一旦关闭中断，服务也将随之关闭

通过浏览器访问http://192.168.248.10:9100来连接群集

3）logstash安装及使用方法

rpm -ivh logstash-5.5.1.rpm

systemctl start logstash
ln -s /usr/share/logstash/bin/logstash /usr/local/bin

下面通过修改Logstash配置文件，让其搜集系统日志/var/log/messages，并将其输出到elasticsearch中

chmmod o+r /var/log/messages    #让Logstash可以读取日志
vim /etc/logstash/conf.d/system.conf

input {
        file{
                path => "/var/log/messages"
                type => "system"
                start_position => "beginning"
        }
}
output {
        elasticsearch{
                hosts => ["192.168.248.10:9200"]
                index => "system-%{+YYYY.MM.dd}"
        }
}

4)安装kibana

cd /usr/local/src
rpm -ivh kivana-5.5.1-x86_64.rpm

systemctl enable kibana

设置kibana的主配置文件/etc/kibana/kibana.yml

vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.248.10:9200"
kibana.index: ".kibana"

重启服务。在浏览器中访问http://192.168.248.10:5601.第一次登陆需要添加一个Elasticseach索引