大厂容器云实践之路（三）

5-基于Kubernetes打造SAE容器云

目前SAE基于请求的架构

• 优点
- 进程内隔离，消耗资源最⼩
- ⽆感扩容&缩容，⽤户⽆成本
- Health&Redispatch，升级切换⽆成本
• 缺点
- ⽆法提供独⽴的namespace
- ⽆法Build&Ship&Run

⽤户的需求

• ⾯对代码 vs ⾯向容器
• 定义⼀切
• run anywhere 
• ⽆感扩容/缩容

为什么选择Kubernetes

• Pod 
• Replication 
• Go 
• Easy for CentOS6

为什么要改进Kubernetes

• 不⾜之处：
- ⽆感扩容
- 监控
• 不适合SAE之处：
- Kube-Proxy&VIP
- Etcd

改进Kubernetes

• ⽇志系统

 • 接⼊SAE Load Balance

 • LoadBalance抗CC攻击压⼒对⽐

 • PaaS SDN和IaaS SDN的区别

• 网络隔离
- NAT
- Bridge（更主流）
• 我们选择NAT
- NAT提速

• Simple Docker Network 

• 内外网流量分开

 • Simple Docker Network 

• L3 tag

 • Simple Docker Network 
• 植⼊Tenant ID

• Simple Docker Network

 SAE容器云

 • 功能：
- 镜像仓库
- BuildPkg
- ⽆感扩容
- 共享存储
• 正式发布！

6-腾讯GAIA平台DOCKER实践

GAIA平台

Gaia平台是腾讯数据平台部的底层资源管理和调度系统，其上层业务包括离线、实时以及在线service服务，最大单集群规模达8800台、并发资源池个数达2500个，服务于腾讯所有事业群。

2014年10月份正式上线对Docker类型作业的支持，通过Docker将Gaia云平台以更好用的方式呈现给各个业务。目前已经支持腾讯内部的游戏云、广点通、GPU深度学习等Docker业务。

GAIA架构

Gaia系统Master节点RM/NM/AM/Docker均无单点故障，可进行热升级。Gaia也为用户的App提供了本地重试和跨机迁移两种容灾方式。

机器资源CPU、内存、网络带宽、GPU、磁盘空间的隔离都是弹性管理的。

最大化的利用集群的所有资源，在保证用户最低资源使用量的同时，在集群有空闲资源时还能借集群的空闲资源使用。

自研调度SFair，解决了调度器效率和扩展性问题，每秒可调度4k个实例。

Docker热升级功能

DOCKER DAEMON单点问题

Docker daemon本身是个单点，并且在退出时会杀掉所有container，对于在线服务完全不可接受。
Docker坑太多，比如1.6.x版本
Docker stats crashed docker daemon https://github.com/docker/docker/pull/13906
Docker exec未同步导致docker crash https://github.com/docker/docker/pull/14899
Docker缓存container的stdout/stderr过大导致OOM问题https://github.com/docker/docker/issues/9139

DOCKER热升级功能设计

Docker daemon停止时主动杀掉所有container，主要受限于
   用户进程是daemon的子进程
   IO流经过daemon缓存
原来的两层进程父子关系变为三层，monitor由goroutine改为进程，由它等待container运行结束
Docker重启时，monitor孤儿进程托管给init进程，container不受任何影响
Docker重启后恢复所有Container状态

DOCKER CRASH不影响DOCKER WAIT

1、客户端向daemon发送wait请求POST/containers/1b9ba1/wait
2、daemon回复HTTP重定向code 305，并返回monitor进程监听地址Location：http://daemon_ip:port
3、客户端向monitor发送wait请求POST/containers/1b9ba1/wait
4、monitor进程等待container进程结束
5、container结束时返回，monitor进程返回wait请求的HTTP response
即使daemon挂掉，客户端wait请求不受影响，消除对Gaia等上层调度系统的影响

DOCKER热升级功能实现

Docker daemon增加-hot-restart参数，monitor代码接口化，支持goroutine和外部进程两种方式；
container启动和结束时，monitor先将启动和结束事件持久化到磁盘，再通知daemon更新container状态。daemon重启后从磁盘加载container状态迁移文件；
部分Daemon API接口，如attach/wait等，重定向给monitor进程处理；
网络状态，比如libnetwork CNM模型的network/endpoint/sandbox状态按网络模式类型在global和local KV store中分别存储，libkv提供统一接口，屏蔽global/local等KV存储的API差异；
我们为libnetwork引入了localstore功能，https://github.com/docker/libnetwork/pull/466，存储bridge网络模式状态或者sandbox等其他本地状态数据。

Docker网络模式扩展

DOCKER⽹络模式

 ⽤户对⽹络的需求

 固定IP⽹络模式

 SR-IOV技术

DOCKER OVERLAY ⽹络使⽤

Container数据存储问题

Container迁移后不需要保留的数据，使用host volume存储
Container迁移后需要保留的数据，使用Ceph RBD存储
   使用Ceph volume plugin为每个container分配一个RBD存储目录

Container资源隔离

弹性内存控制

 ⽹络出带宽控制

 容器中资源显⽰问题