相信大家看过《听说,你的Loki还是单体?(上篇)》之后对Loki的分布式架构有了一定的认识,那么本篇主要就是对上篇内容的实践。小白主要提供docker-compose
和helm
两种方式将部署Loki集群的Demo版本。
在正式部署之前,我们还是先来看下Loki整体架构如下图:
我们本次部署清单里面主要涉及到的组件如下:
组件 | 副本数 | 说明 |
---|---|---|
Cassandra | 1 | Loki Index存储 |
Minio | 1 | Loki S3存储 |
Consul | 1 | Loki 组件状态和哈希环存储 |
Redis | 1 | Loki 缓存 |
Gateway | 2 | Loki 网关 |
Distributor | 3 | Loki 组件 |
Ingester | 3 | Loki 组件 |
Querier | 3 | Loki 组件 |
Query-Frontend | 2 | Loki 组件 |
Table-Manager | 1 | Loki 组件 |
下载部署代码
$ git clone https://github.com/CloudXiaobai/loki-cluster-deploy.git
声明:以下部署均适用于demo环境,大家切勿直接用于生产环境
对于生产环境,请务先解决Cassandra和Consul服务的高可用
通过docker-compose部署
- 启动服务
$ cd loki-cluster-deploy/demo/docker-compose
$ docker-compose up -d
- 服务清理
如果部署过程中遇到问题要清理环境的话,需要执行两个步骤
1. 停止容器
$ docker-compose down
2. 删除本地卷
$ docker volume rm
通过helm部署
- 进入helm 目录
$ cd loki-cluster-deploy/demo/helm/loki-cluster-demo
- 声明StorageClass
$ cat values.yaml
...
loki-minio:
persistence:
- name: data
storageClass: ""
size: 10Gi
accessMode: ReadWriteOnce
mount_path: /data
loki-consul:
persistence:
- name: data
storageClass: ""
size: 1Gi
accessMode: ReadWriteOnce
mount_path: /consul/data
loki-cassandra:
persistence:
- name: data
storageClass: ""
size: 5Gi
accessMode: ReadWriteOnce
mount_path: /bitnami
...
- 启动服务
$ kubectl create ns
$ helm template --name stable --namespaces . - | kubectl apply -f -
- 服务清理
如果部署过程中遇到问题要清理环境的话,执行如下命令:
$ helm template --name stable --namespaces . - | kubectl delete -f -
提示:部署完成后Minio S3的默认认证信息如下:
ACCESS_KEY: key123456
SECRET_KEY: password123456
部署之后
按照如上完成配置后,我们需要将日志采集的客户端指向到Loki Gateway上
。
对于Gateway多实例部署在k8s的,需要在前端挂载一个负载均衡器做分流。
小白之前考虑用ingress做代理,考虑到现实意义不大,所以放弃。建议大家在外部的LoadBlance直接转发给loki-gateway的NodePort上
同理,Grafana的数据源,我们也要切换到Loki Gateway的地址
,然后在Explor上查询日志验证是否正常
最后我们可以再看下Minio上的Bucket是否已经有日志块,如果有数据的话说明你的Loki Ingester已经工作正常.
关于云原生小白
云原生小白的创号目的是将平日里离大家较远云原生应用以实用的角度展现出来,站在小白的角度来看待和使用云原生,并以每篇文章解决一个实际问题的出发点带领大家走进云原生。