全网最新 Skywalking 6.1.0部署进kubernetes(k8s) 包含springcloud测试用例
skywalking-kubernetes
该项目可以迅速将skywalking 6.1.0部署进kubernetes(k8s)
包含ui oap es模块和完整的springcloud测试用例
此外将agent整合到sidecar中，也就是说每个pod中有两个应用 app+agent sidecar，更加适合于生产环境
描述
我弄这个主要是为了学习整合skywalking作为kubernetes线下环境的APM
但是skywalking官方apache/skywalking-kubernetes的一些配置在apache孵化后过期
没有最新的6.1.0版本 而6.1.0的性能提升比较大，此外也支持6.3.2 非常值得学习。
此外一些配置面向云环境，不适合本地开发测试
安装使用
git地址
evanxuhe/skywalking-kubernetes
cd 6.1.0
kubectl apply -f namespace.yml
kubectl apply -f elasticsearch
kubectl apply -f oap
kubectl apply -f ui
kubectl apply -f apm-springcloud-demo
注意修改elasticsearch/01-pv.yml中的路径为本地路径;节点名为本机hostname
浏览器打开http://127.0.0.1:31234/查看服务详情
如果部署了测试用例 访问http://127.0.0.1:30082/item 会发现UI拓扑图多了两个服务 如下
成果展示
NAME READY STATUS RESTARTS AGE
apm-eureka-799b8d5449-72npx 1/1 Running 0 99m
apm-item-bdf545d9c-kjqxd 1/1 Running 0 94m
elasticsearch-0 1/1 Running 0 119m
oap-6b56f8bbf5-7fjvb 1/1 Running 0 118m
oap-6b56f8bbf5-7tldw 1/1 Running 0 118m
oap-6b56f8bbf5-qzdx2 1/1 Running 0 118m
ui-deployment-f4799496c-m5xw6 1/1 Running 0 117m
模块概述
模块概述
| component | descripiton |
|---|---|
| namespace | 创建skywalking命名空间 |
| elasticsearch | 映射本地磁盘卷的es集群 |
| oap | collector 收集agent上传的数据并整合 |
| ui | RocketUI展示前端数据 |
| apm-springcloud-demo | springcloud应用demo，eureka+item service 产生数据供展示(可选) |
| busybox.yml | 装了很多调试工具，比如net-tools等，方便定位k8s内问题 |
版本描述
| component | version |
|---|---|
| kubernetes | 1.14.2 |
| skywalking | 6.1.0 |
| elasticsearch | 6.4.0 |
镜像
| image | version | descripiton |
|---|---|---|
| evanxuhe/skywalking-oap-server | 6.1.0 | 修正时区为东八区 |
| evanxuhe/skywalking-agent-sidecar | 6.1.0 | sidecar 里面装载了agent文件夹 |
| apache/skywalking-ui | 6.1.0 | 官方ui镜像 |
| elasticsearch-oss | 6.3.2 | 官方es镜像 |
使用说明
应用全部挂在在skywalking namepace下，所以大家使用时不要忘记切换namespace 比如加-n skywalking
此外之前遇到过很奇怪的问题 oap可以正常收集数据，ui没显示，并且请求oap报错IDs can’t be null其实就是pod时间不对，导致查询范围不匹配
查看kubectl get pods -n skywalking
配置修改
es使用statefulset方式部署，oap，ui使用deployment部署
因而想要修改副本数，内存，磁盘等请修改对应目录下的03-statefulset.yml或者03-deployment.yml
服务起停
由于k8s deployment会在pod停止后一直重启
因而修改停止的正确做法是
kubectl edit statefulset elasticsearch -n skywalking
kubectl edit deployment oap -n skywalking
kubectl edit deployment ui-deployment -n skywalking
修改对应的replicates为0，拓展应用将replicates修改为对应副本数即可，想刷新配置也可以用这种办法
修改内容
基于skywalking官方apache/skywalking-kubernetes
修改为：
- oap，ui镜像更新为最新 apache/skywalking-oap-server,apache/skywalking-ui镜像，解决原有镜像过期问题,修改时区为东八区
- elasticsearch存储卷配置gce修改为local,增加01-pv.yaml 大家需要制定自己的本地路径
- ui负载均衡从云环境loadbalace改为适用于本地的nodeport
故障排除
显示pod不存在
kubectl config set-context $(kubectl config current-context) --namespace=skywalking
或者在所有命令后指定namespace 如 kubectl get pods -n skywalking
服务出现Error
查看event是否有错误信息
kubectl describe pod [pod名]
如果没有，说明进程已经挂掉，查看日志是否有错误信息
kubectl log [pod名]
dns域名解析错误
遇到一个问题，es一直正常运行，但是oap报错找不到es，这是由于域名解析问题
k8s登录elasticsearch，查看hostname ip地址
登录另一个可用pod，如ui 看是否能ping 通ip(网络问题)，能否ping通elasticsearch主机名(dns问题)
最后发现是coredns服务没能正常启动，导致所有dns不用这个错误很常见。。。
kubectl get pods -n kube-system
解决方案详见coredns服务一直处于 CrashLoopBackOff状态
联系方式
由于本人是k8s新人，难免存在很多问题，欢迎大家反馈
我的邮箱 [email protected]