用了3年Kubernetes，我们得到的5个教训

过去 3 年，我们不仅使用 Kubernetes，还将其用于生产环境。在这个过程中，我们得到了一些很重要的经验教训。

作者 | Ganesan

策划 | Tina

2017 年，我们基于 1.9.4 版本构建了第一个 Kubernetes 集群。现在，我们已经有两个集群了：其中一个集群在裸机的 RHEL 虚拟机上运行，另一个集群在 AWS EC2 上运行。我们的 Kubernetes 基础设施平台由分布在多个数据中心的 400 多台虚拟机组成。该平台托管了高可用的关键任务软件应用程序和系统，以管理有近 400 万个活动设备的大型实时网络。

最终，K8s 让我们的工作变得更轻松，但这个过程异常艰难，因为它带来的是一种思维上的转变。它不仅让我们的技能和工具有了彻底的转变，还带来了我们设计和思维的改变。我们不得不采用多种新技术，并进行大量投资以扩展和提高我们的团队和基础架构团队的技能。

回顾 Kubernetes 在生产环境中运行的这三年，我们得到一些很重要的经验教训。

1 Java 应用程序的“坑”

在微服务和容器化方面，工程师倾向于避免使用 Java，这主要是由于 Java 臭名昭著的内存管理。但现在，情况发生了改变，Java 的容器兼容性在过去几年得到了改善。毕竟，大量的系统是在 Java 上运行，比如 Apache Kafka、Elasticsearch。

回顾 2017—2018 年度，我们有一些应用程序在 Java 8 上运行。这些应用程序通常很难理解像 Docker 这样的容器环境，并因堆内存问题和异常的垃圾回收趋势而崩溃。我们了解到，这是因为 JVM 无法使用 Linux cgroup和namespace造成的，而它们是容器化技术的核心。

https://developers.redhat.com/blog/2017/03/14/java-inside-docker/

但是，从那时起，Oracle 就一直在不断提高 Java 在容器领域的兼容性。另外，Java 8 的后续补丁都引入了实验性的 JVM 标志来解决这些问题，XX:+UnlockExperimentalVMOptions和XX:+UseCGroupMemoryLimitForHeap。

但是，尽管做了一些改进，不可否认的是，Java 在内存占用方面仍然声誉不佳，与 Python 或 Go 等语言相比，启动速度慢。这主要是由 JVM 的内存管理和类加载器引起的。

现在，如果我们必须选择 Java，请确保版本为 11 或更高。并且，Kubernetes 的内存限制要在 JVM 最大堆内存（-Xmx）的基础上增加 1GB，以留有余量。换句话说，如果 JVM 使用 8GB 的堆内存，那我们对该应用程序的 Kubernetes 资源限制为 9GB。

2 Kubernetes 生命周期管理：升级

Kubernetes 生命周期管理（例如升级或增强）非常繁琐，尤其是如果已经在裸金属或虚拟机上构建了自己的集群。对于升级，我们已经意识到，最简单的方法是使用最新版本构建新集群，并将工作负载从旧版本过渡到新版本。节点原地升级所做的努力和计划是不值得的。

https://platform9.com/blog/where-to-install-kubernetes-bare-metal-vs-vms-vs-cloud/

Kubernetes 有多个活动组件，需要升级来保持一致。从 Docker 到 Calico 或 Flannel 之类的 CNI 插件，你需要仔细地将它们组合在一起才能正常工作。虽然像 Kubespray、Kubeone、Kops 和 Kubeaws 这样的项目让它变得更容易，但它们都有缺点。

我们在 RHEL 虚拟机上使用 Kubespray 构建了自己的集群。Kubespray 非常棒，它具有用于构建、添加和删除新节点、升级版本的 playbook，以及我们在生产环境中操作 Kubernetes 所需的几乎所有内容。但是，用于升级的 playbook 附带了免责声明，以避免我们跳过子版本。因此，必须经过所有中间版本才能到达目标版本。

关键是，如果你打算使用 Kubernetes 或已经在使用 Kubernetes，请考虑生命周期活动以及解决这一问题的方案。构建和运行集群相对容易一些，但是生命周期维护是一个全新体验，有多个活动组件。

3 构建和部署

在准备重新设计整个构建和部署流水线前， 我们的构建过程和部署必须经历 Kubernetes 世界的完整转型。我们不仅在 Jenkins 流水线中进行了大量重构，而且还使用了诸如 Helm 之类的新工具，策划了新的 git 流和构建、标签化 docker 镜像，以及版本化 helm 的部署 chart。

你需要一种策略来维护代码，以及 Kubernetes 部署文件、Docker 文件、Docker 镜像、Helm chart，并设计一种方法将它们组合在一起。

经过几次迭代，我们决定采用以下设计。

应用程序代码及其 helm chart 放在各自的 git 存储库中。这让我们可以分别对它们进行版本控制。

然后，我们将 chart 版本与应用程序版本关联起来，并使用它来跟踪发布。例如，app-1.2.0使用charts-1.1.0进行部署。如果只更改 Helm 的 values 文件，则只更改 chart 的补丁版本（例如，从1.1.0到1.1.1）。所有这些版本均由每个存储库中的RELEASE.txt中的发行说明规定。

对于我们未构建或修改代码的系统应用程序，例如 Apache Kafka 或 Redis ，工作方式有所不同。也就是说，我们没有两个 git 存储库，因为 Docker 标签只是 Helm chart 版本控制的一部分。如果我们更改了 docker 标签以进行升级，则会升级 chart 标签的主要版本。

4 存活和就绪探针（双刃剑）

Kubernetes 的存活探针和就绪探针是自动解决系统问题的出色功能。它们可以在发生故障时重启容器，并将流量从不正常的实例进行转移。但是，在某些故障情况下，这些探针可能会变成一把双刃剑，并会影响应用程序的启动和恢复，尤其是有状态的应用程序，例如消息平台或数据库。

我们的 Kafka 系统就是这个受害者。我们运行了一个3 Broker 3 Zookeeper有状态副本集，该状态集的ReplicationFactor为 3，minInSyncReplica为 2。当系统意外故障或崩溃导致 Kafka 启动时，问题就发生了。这导致它在启动期间运行其他脚本来修复损坏的索引，根据严重性，此过程可能需要 10 到 30 分钟。由于增加了时间，存活探针将不断失败，从而向 Kafka 发出终止信号以重新启动。这阻止了 Kafka 修复索引并完全启动。

唯一的解决方案是在存活探针设置中配置initialDelaySeconds，以在容器启动后延迟探针评估。但是，问题在于很难对此加以评估。有些恢复甚至需要一个小时，因此我们需要提供足够的空间来解决这一问题。但是，initialDelaySeconds越大，弹性的速度就越慢，因为在启动失败期间，Kubernetes 需要更长的时间来重启容器。

因此，折中的方案是评估initialDelaySeconds字段的值，以在 Kubernetes 中的弹性与应用程序在所有故障情况（磁盘故障、网络故障、系统崩溃等）下成功启动所花费的时间之间取得更好的平衡 。

更新：如果你使用最新版本，Kubernetes 引入了第三种探针类型，称为“启动探针”，以解决此问题。从 1.16 版开始提供 alpha 版本，从 1.18 版开始提供 beta 版本。

启动探针会禁用就绪和存活检查，直到容器启动为止，以确保应用程序的启动不会中断。

https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/

5 公开外部 IP

我们了解到，使用静态外部 IP 公开服务会对内核的连接跟踪机制造成巨大代价。除非进行完整的计划，否则, 它很轻易就破坏了扩展性。

我们的集群运行在Calico for CNI上，在 Kubernetes 内部采用BGP作为路由协议，并与边缘路由器对等。对于 Kubeproxy，我们使用IP Tables模式。我们在 Kubernetes 中托管着大量服务，通过外部 IP 公开，每天处理数百万个连接。由于来自软件定义网络的所有 SNAT 和伪装，Kubernetes 需要一种机制来跟踪所有这些逻辑流。为此，它使用内核的Conntrack and netfilter工具来管理静态 IP 的这些外部连接，然后将其转换为内部服务 IP，接着转换为 pod IP。所有这些都是通过conntrack表和 IP 表完成的。

但是，conntrack表有其局限性。一旦达到限制，你的 Kubernetes 集群（如下所示的 OS 内核）将不再接受任何新连接。在 RHEL 上，可以通过这种方式进行检查。

$  sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_maxnet.netfilter.nf_conntrack_count = 167012
net.netfilter.nf_conntrack_max = 262144

解决此问题的一些方法是使用边缘路由器对等多个节点，以使连接到静态 IP 的传入连接遍及整个集群。因此，如果你的集群中有大量的计算机，累积起来，你可以拥有一个巨大的conntrack表来处理大量的传入连接。

回到 2017 年我们刚开始的时候，这一切就让我们望而却步，但最近，Calico 在 2019 年对此进行了详细研究，标题为“为什么 conntrack 不再是你的朋友”。

https://www.projectcalico.org/when-linux-conntrack-is-no-longer-your-friend/

6 你是否一定需要 Kubernetes 吗？

三年过去，我们每天仍然在学习新知识，发现新东西。K8s 是一个复杂的平台，有自己的一系列挑战，尤其是在构建和维护环境方面的开销。它将改变你的设计、思维、架构，并需要提高技能和扩大团队规模以适应转型。

但是，如果你在云上，并且能将 Kubernetes 作为一种“服务”使用，它可以减轻平台维护带来的大部分开销，比如如何扩展内部网络 CIDR 或如何升级我的 Kubernetes 版本。

今天，我们意识到，你需要问自己的第一个问题是“你是否一定需要 Kubernetes？”。这可以帮助你评估所遇到的问题以及 Kubernetes 解决该问题的重要性。

Kubernetes 转型并不便宜，为此支付的金钱必须确实证明“你的”用例的必要性及其如何利用该平台。如果可以，那么 Kubernetes 可以极大地提高你的生产力。

记住，为了技术而技术，这是没有意义的。

原文链接：

https://medium.com/better-programming/3-years-of-kubernetes-in-production-heres-what-we-learned-44e77e1749c8

Kubernetes全栈技术培训

技术交流

学无止境，了解更多关于kubernetes/docker/devops/openstack/openshift/linux/IaaS/PaaS相关内容，想要获取更多资料和免费视频，可按如下方式进入技术交流群

微信：luckylucky421302

微信公众号

                                     长按指纹关注公众号????

                  

往期精彩文章

kubernetes全栈技术+企业案例演示【带你快速掌握和使用k8s】

突破运维和开发瓶颈、Python、k8s、DevOps转型一网打尽！

python运维开发实战-基础篇

python运维和开发实战-高级篇

python运维和开发实战-安装和创建Django项目

谈谈我的IT发展之路

Prometheus+Grafana+Alertmanager搭建全方位的监控告警系统-超详细文档

k8s1.18多master节点高可用集群安装-超详细中文官方文档

linux面试题汇总

python运维和开发实战-安装和创建Django项目

Docker公司禁止被列入美国"实体名单"的国家、企业使用

Jenkis pipeline构建项目实践-编写podTemplate实现和k8s对接

安装kubernetes集群-灵活安装k8s各个版本高可用集群

Kubernetes v1.19 正式发布

高效的Nginx负载均衡器

5个维度对 Kubernetes 集群优化

什么是架构师？

QPS、TPS、并发用户数、吞吐量关系

kubernetes面试题汇总

DevOps视频和资料免费领取

kubernetes技术分享-可用于企业内部培训

谈谈我的IT发展之路

kubernetes系列文章第一篇-k8s基本介绍

kubernetes系列文章第二篇-kubectl

了解pod和pod的生命周期-这一篇文章就够了

Kubernetes中部署MySQL高可用集群

k8s中蓝绿部署、金丝雀发布、滚动更新汇总

运维常见问题汇总-tomcat篇

关于linux内核参数的调优，你需要知道

kubernetes挂载ceph rbd和cephfs

报警神器Alertmanager发送报警到多个渠道

jenkins+kubernetes+harbor+gitlab构建企业级devops平台

kubernetes网络插件-flannel篇

kubernetes网络插件-calico篇

kubernetes认证、授权、准入控制

限制不同的用户操作k8s资源

面试真题&技术资料免费领取-覆盖面超全~

Prometheus监控MySQL

Prometheus监控Nginx

Prometheus监控Tomcat

linux面试题汇总

测试通过storageclass动态生成pv

通过编写k8s的资源清单yaml文件部署gitlab服务

helm安装和使用-通过helm部署k8s应用

k8s基于Ingress-nginx实现灰度发布

k8s的Pod安全策略

Prometheus Operator-上篇-安装和使用篇

Prometheus Operator-下篇

通过kubeconfig登陆k8s的dashboard ui界面

通过token令牌登陆k8s dashboard ui界面 

kubernetes集群的etcd数据库详细介绍

Linux网络流量监控工具

kubernetes搭建EFK日志管理系统

prometheus operator监控k8s集群之外的haproxy组件         

kubernetes ConfigMap存储卷      

Python采集linux服务器数据在Django Web界面展示

基于Kubernetes的GPU类型调度实现    

容器日志管理的最佳实践    

Kubernetes 数据库 Etcd 日常运维及技巧    

一文详解 LVS、Nginx 及 HAProxy工作原理       

一篇文章全面了解运维监控知识体系

Kubernetes容器云平台技术方案

istio部署模型-单集群或者多集群

Kubernetes全栈技术培训