Go微服务+logrus+elasticsearch+kibana，实现分布式微服务日志收集

一。elasticsearch Docker安装集群

• 版本7.6.2
• 拉取es镜像: 可能有点慢, 具体还没有找到解决方法

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.6.2

• 编写docker-compose.yml文件

version: '2.2'
services:
#节点1
  es01: 
    image: docker.elastic.co/elasticsearch/elasticsearch:7.6.2
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
#挂在数据文件和配置文件到宿主机
      - /root/docker_service/elasticsearch/data/d01:/usr/share/elasticsearch/data
      - /root/docker_service/elasticsearch/config/es01/config:/usr/share/elasticsearch/config
    ports:
      - 9200:9200
    networks:
      - elastic
    restart: always

#节点2
  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.6.2
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - network.host=es02
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /root/docker_service/elasticsearch/data/d02:/usr/share/elasticsearch/data
      - /root/docker_service/elasticsearch/config/es02/config:/usr/share/elasticsearch/config
    networks:
      - elastic
    restart: always

networks:
  elastic:
    driver: bridge

• 启动容器

docker-compose up -d

• 检测是否启动成功

curl 127.0.0.1:9200

• 遇到的坑
  注：本人用的是虚拟机安装的centos7, 如果是生产环境的正式服务器，不一定会遇见下面的坑。

1. 查看容器日志，出现一下错误。原因：安装的vm虚拟机分配的内存太小，我分配的是1G，改为4G，解决以下错误

OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release

2. 查看容器日志，出现一下错误。原因：挂在的宿主机目录权限不够，我直接暴力改为 chmod 777 xxx -R

ElasticsearchException[failed to bind service]; nested: AccessDeniedException[/usr/share/elasticsearch/data/nodes]

3. 查看日志，出现一下错误。原因：docker容器拥有的虚拟存储太小，默认为65530，改为262144，可能需要重启服务器才能生效或者执行 /sbin/sysctl -p 指令。编辑/etc/sysctl.conf，文件尾添加：vm.max_map_count=262144

ERROR: [1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

二。kibana可视化工具安装，不采用docker

• 下载7.6.2版本的，官网下载比较慢，可以通过国内加速网站下载

https://www.newbe.pro/Mirrors/Mirrors-Kibana/

• 修改kibana的配置文件， 配置文件在解压目录下的 config/kibana.yml，修改以下下配置

1. 端口，host改为0.0.0.0可以提供外部访问

   
   
   image.png
   
   

   2.添加elasticsearch的ip和端口，可以添加多个，主要针对es的集群

   
   
   image.png
   
   3.修改中文风格界面
   
   image.png

• 启动kibana

/解压目录/bin/kibana  --allow-root   #本人使用的是centos  root账户，不添加 --allow-root启动不了

• 打开浏览器输入 http://ip:5601 就可以看到kibana界面了。
• 注：记得开启防火墙的5601端口

三。go 日志推送到elasticsearch示例代码

• 首先需要下载三个go代码的依赖包

#第一个：elastic客户端开发包
go get -u github.com/olivere/elastic/v7
#第二个：logrus开发包
go get -u github.com/sirupsen/logrus
#第三个：将logrus日志推送到elasticsearch插件，也成为hook钩子
go get -u gopkg.in/sohlich/elogrus.v7

*示例代码

package main
#包依赖
import (
    "github.com/olivere/elastic/v7"
    "github.com/sirupsen/logrus"
    "gopkg.in/sohlich/elogrus.v7"
)

var log *logrus.Logger

func init() {
    log = logrus.New()    #创建logrus对象
    log.Formatter = &logrus.JSONFormatter{}    #设置logrus的日志格式为json
        
    #创建elasticsearch客户端
    client, err := elastic.NewClient(elastic.SetSniff(false),elastic.SetURL("http://192.168.6.128:9200"))
    if err != nil {
        log.Panic(err)
    }
    #将logrus和elastic绑定，localhost 是指定该程序执行时的ip
    hook, err := elogrus.NewElasticHook(client, "localhost", log.Level, "mylog")
    if err != nil {
        log.Panic(err)
    }
    log.AddHook(hook)
}

func main() {
    #日志
    log.WithFields(logrus.Fields{}).Info("hello world")
    log.WithFields(logrus.Fields{}).Info("A group of walrus emerges from the ocean")
    select {}
}

• 执行代码: go run main.go

• 打开kibana可以看到已经有该日志
  image.png

到此基础的操作已经完成，可以实现日志上传，如果是集群或者分布式项目可以指定不同的index在kibana端通过index筛选出日志

需要对kibana和elastic有一定的了解，比如：怎么在kibana中添加index 为mylog。可以自己简单的学习一下，这个很简单。