ELK日志分析系统

目录

1.简介

2.组成

3.作用

4.工作原理

5.案例

        部署 Elasticsearch 软件

        ELK Logstash 部署

        ELK Kiabana 部署

---

1.简介

        ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个

开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

2.组成

        日志主要包括系统日志、应用程序日志和安全日志。

3.作用

        收集：能够采集多种来源的日志数据
        传输：能够稳定的把日志数据解析过滤并传输到存储系统
        存储：存储日志数据
        分析：支持 UI 分析
        警告：能够提供错误报告，监控机制

4.工作原理

        在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器

上，在日志服务器上部署 Logstash。

        Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。

        Elasticsearch 对格式化后的数据进行索引和存储。

        Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

5.案例

        部署 Elasticsearch 软件

                安装elasticsearch—rpm包        上传elasticsearch-5.5.0.rpm到/opt目录下      

cd /opt
rpm -ivh elasticsearch-5.5.0.rpm 

        加载系统服务
 

                systemctl daemon-reload    
                systemctl enable elasticsearch.service

        修改elasticsearch主配置文件

                ### 先备份 cp /etc/elasticsearch/elasticsearch.yml                                                                                                   /etc/elasticsearch/elasticsearch.yml.bak

        

vim /etc/elasticsearch/elasticsearch.yml
--17--
cluster.name: my-elk-cluster
--23--
node.name: node1
--33--
path.data: /data/elk_data
--37--
path.logs: /var/log/elasticsearch/
--43--
bootstrap.memory_lock: false
--55--
network.host: 0.0.0.0
--59--
http.port: 9200
--68--
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

        grep -v "^#" /etc/elasticsearch/elasticsearch.yml 查看内容

        创建数据存放路径并授权
                mkdir -p /data/elk_data
                chown elasticsearch:elasticsearch /data/elk_data/

        启动elasticsearch是否成功开启
                systemctl start elasticsearch.service
                netstat -antp | grep 9200   

     
         查看节点信息
                        浏览器访问  http://192.168.177.104:9200  、 http://192.168.177.106:9200 查看节点 Node1、Node2 的信息。

                        浏览器访问 http://192.168.177.104:9200/_cluster/health?pretty 

                        ### 此时遇到了一个问题  显示yellow而不是green                

        常见的ES集群有三种状态

Green:主/副分片都已经分配好且可用；集群处于最健康的状态100%可用

Yellow:主分片可用，但是副分片不可用。这种情况ES集群所有的主分片都是已经分配好了的，但是至少有一个副本是未分配的。这种情况下数据也是完整的；但是集群的高可用性会被弱化

Red:存在不可用的主分片。此时只是部分数据可以查询，已经影响到了整体的读写，需要重点关注。这种情况ES集群至少一个主分片(以及它的全部副本)都缺失

        1.磁盘满        扩容        (这里是干净的测试环境 不存在)

        2.分配文档超过最大限制        向新索引中写入数据，并合理设置分片大小

        3.主分片所在节点掉线        找到节点掉线的原因并重新其中节点加入集群，等待分片恢复

        4.索引属性与节点属性不匹配       重新设置索引的冷热属性，和节点保持一致；若要修改节点属性，则需要重启节点 

        5.节点长时间掉线后再次加入集群 导致引入脏数据        使用 reroute API

        6.未分配的分片太多 导致达到了分片恢复的最大阈值 其他分片需要排队等待        使用cluster/settings调大分片恢复的并发度和速度        (找到了问题 有五个在等待)

        安装 Elasticsearch-head 插件   

yum install gcc gcc-c++ make -y
cd /opt
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make && make install 

        安装 phantomjs

                上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2

cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

        安装 Elasticsearch-head 数据可视化工具

                上传软件包 elasticsearch-head.tar.gz 到/opt

cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

        修改 Elasticsearch 主配置文件

vim /etc/elasticsearch/elasticsearch.yml
        ###末尾添加
    http.cors.enabled: true
    http.cors.allow-origin: "*"

        启动 elasticsearch-head 服务

cd /usr/local/src/elasticsearch-head/
npm run start &

        浏览器访问 http://192.168.177.104:9100/

        插入索引

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

        ELK Logstash 部署

                安装Apahce服务（httpd）

yum -y install httpd
systemctl start httpd

                安装Java环境并检查

yum -y install java
java -version

                安装logstash

                        上传软件包 logstash-5.5.1.rpm 到/opt目录下

cd /opt
rpm -ivh logstash-5.5.1.rpm                           
systemctl start logstash.service                      
systemctl enable logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

                测试 Logstash        等好了以后输入www.baidu.com 

                                               会得到  2020-12-22T03:58:47.799Z localhost www.baidu.com

logstash -e 'input { stdin{} } output { stdout{} }'

        ELK Kiabana 部署

                安装 Kiabana

                        上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录

cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

                设置 Kibana 的主配置文件

vim /etc/kibana/kibana.yml
--2--
server.port: 5601
--7--
server.host: "0.0.0.0"
--21--
elasticsearch.url: "http://192.168.177.104:9200" 
--30--
kibana.index: ".kibana"

                启动服务 检查端口

systemctl start kibana.service
systemctl enable kibana.service

netstat -natp | grep 5601

                验证 Kibana

                        浏览器访问 http://192.168.177.104:5601
                        第一次登录需要添加一个 Elasticsearch 索引：
                        Index name or pattern
                        //输入：system-*            #在索引名中输入之前配置的 Output 前缀“system”

                        单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
                        数据展示可以分类显示，在“Available Fields”中的“host”，然后单击 “add”按钮，可以看到按照“host”筛选后的结果

                将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.177.104:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
	if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.177.104:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

                浏览器访问 http://192.168.177.104:9100 查看索引是否创建