混沌工程(Chaos Engineering)的尝试

Chaos Engineering, 第一次听说还是在Qcon大会上。它的首任玩家是Netflix公司（卖光盘起家的神奇公司，当然这家公司神奇之处不仅如此，号称他们是没有测试环境的，所有工程师都直接在生产环境开发测试，部署。理由就是一切不以生产环境做的测试都是耍流氓！）。应用混沌工程目的是为了提升系统的弹性。在没有预设任何条件下， 随机的模拟异常情况，包括但不限于（网络瘫痪，数据库异常等）。
Chaos monkey是运用混沌工程理念的一种服务。用于将系统分组，并随机终止属于某个分组中的系统中的一部分；通过人为模拟某个服务不可用，系统是否能自愈，或者为了能够自愈，需要人为介入做哪些事情。一旦人学会了经验，那么可以进一步完善这部分功能，释放人力成本。
为什么要跑这种测试呢？因为失效风险是无法避免的，而且我们总不能时时刻刻盯着系统，24H不休息。因此我们需要一种方法能够让我们提前了解系统服务不可用之后的故事，以便加强措施来应对。Chaos monkey 的主要原则就是：避免大多数失效的方式就是经常失效。下图是Netflix的海报：

Snipaste_2020-01-19_11-45-31.png

从图中我们可以看到好多猴子，有灵巧型的，笨重型的等，每种猴子对应的策略也是不尽相同，比如灵巧型的破坏力就不是很大，杀pod等；笨重型的就是负责毁灭的，比如断网等。还有其他类似于延迟猴子，安全猴子等。它的开源地址：https://github.com/Netflix/chaosmonkey
国内ali最近也开源了它的chaos monkey。大家可以参考，go语言写的https://github.com/chaosblade-io/chaosblade

接下来讲讲我们是怎么做的。当然实现的功能比较简单，目前只是对环境中的pod定期删除，并记录pod 服务恢复的时间。
项目是用python编写，由于我们需要对k8s中的pod进行删除，所以需要kubernete-client https://github.com/kubernetes-client/python
想要达到chaos的效果，需要有两种action--plan和execution。

Execution

1. 我们可以对k8s集群里的信息进行收集
   比如列举所有pod信息：

from kubernetes import client, config

# Configs can be set in Configuration class directly or using helper utility
config.load_kube_config()

v1 = client.CoreV1Api()
print("Listing pods with their IPs:")
ret = v1.list_pod_for_all_namespaces(watch=False)
for i in ret.items:
    print("%s\t%s\t%s" % (i.status.pod_ip, i.metadata.namespace, i.metadata.name))

删除pod：

            body = client.V1DeleteOptions()
            one_pod = pod_list[0]
            namespace = one_pod.metadata.namespace
            pod_name = one_pod.metadata.name
            delete_pod_name_list.append(pod_name)
            logging.info("start deleting the pod %s in namespace %s." % (pod_name, namespace))
            result = self.client.delete_namespaced_pod(name=pod_name, namespace=namespace, body=body)

Plan

以上两个api基本上满足了我们删除pod的手动操作。操作简单，我们就可以寻求它的自动化。可以设置定时任务，每几秒就会执行这种操作。

from apscheduler.schedulers.blocking import BlockingScheduler
 scheduler = BlockingScheduler(timezone='Asia/Shanghai')
    executors = {
        'default': ThreadPoolExecutor(max_workers=100),
        'processpool': ProcessPoolExecutor(5)
    }
    scheduler = BlockingScheduler(executors=executors, timezone='Asia/Shanghai')
scheduler.add_job(the_job.run, trigger='cron', **cron_result)
cron_result: 用于解析出定义的cron表达式。

功能实现了，报表不能少。运用的是flask框架搭的简单的web服务，收集数据。

Snipaste_2020-01-19_13-57-12.png

后续，为了更加方便我们进行各种环境的chaos测试，于是将该部分功能容器化。应用的时候通过一个yaml文件，执行kubectl apply命令，就可以将对应的功能启动起来。