网易如何利用Kubernetes支持全球互联网业务
公司：网易
地点：中国杭州
行业：互联网技术
挑战
它的游戏业务是世界上最大的游戏业务之一，但这并不是网易为中国消费者提供的唯一服务。该公司还经营电子商务、广告、音乐流媒体、在线教育和电子邮件平台；最后一个通过163.com等网站为近十亿用户提供免费电子邮件服务。2015年，为所有这些系统提供基础设施的网易云团队，意识到他们的研发流程正在减缓开发者的速度。“我们的用户需要自己准备所有基础设施。”网易云和容器服务架构师Feng Changjian说。“我们渴望通过无服务器的容器服务，自动为我们的用户提供基础设施和工具。”
解决方法
在考虑建立自己的业务流程解决方案后，网易决定将其私有云平台建立在Kubernetes上。这项技术来自Google的事实让团队相信它可以跟上网易的规模。“经过2到3个月的评估，我们相信它可以满足我们的需求。”Changjian说。该团队在2015年开始使用Kubernetes，甚至在1.0之前。今天，网易内部云平台还利用了CNCF项目Prometheus、Envoy、Harbor、gRPC和Helm，在生产集群中运行10,000个节点，并且可以在一个集群中支持多达30,000个节点。基于其内部平台的经验，该公司向外部客户推出了基于Kubernetes的云和面向微服务的PaaS产品，网易轻舟微服务。
影响
网易团队报告说，Kubernetes使研发效率提高了100％以上。部署效率提高了280％。“在过去，如果我们想进行升级，我们需要与其他团队合作，甚至在其他部门工作。”Changjian说。“我们需要特殊的工作人员来准备一切，所以花了大约半个小时。现在我们可以在5分钟内完成。”新平台还允许使用GPU和CPU资源进行混合部署。“之前，如果我们将所有资源都用于GPU，我们就不会为CPU提供备用资源。但是现在我们通过混合部署得到了改进。”他说。这些改进也提高了资源的利用率。
“该系统可以在一个集群中支持30,000个节点。在生产中，我们在单个集群中获得了10,000个节点的数据。整个内部系统正在使用该系统进行开发、测试和生产。” - Zeng Yuxing，网易架构师
它的游戏业务是全球第五大，但这并非网易为消费者提供的唯一服务。
该公司还在中国经营电子商务、广告、音乐流媒体、在线教育和电子邮件平台；其中最后一个通过163.com和126.com等热门网站为近十亿用户提供免费电子邮件服务。凭借这种规模，网易云团队为所有这些系统提供基础设施，在2015年发现他们的研发流程难以使开发者满足需求。“我们的用户需要自己准备所有基础设施。”网易云和容器服务架构师Feng Changjian说。“我们渴望通过无服务器的容器服务，自动为我们的用户提供基础设施和工具。”
在考虑建立自己的业务流程解决方案后，网易决定将其私有云平台建立在Kubernetes上。这项技术来自Google的事实让团队相信它可以跟上网易的规模。“经过2到3个月的评估，我们相信它可以满足我们的需求。”Changjian说。
“我们利用Kubernetes的可编程性，以便我们可以构建一个平台来满足内部客户的升级和部署需求。” - Feng Changjian，网易云和容器服务架构师
该团队在2015年开始采用Kubernetes，甚至在1.0之前，因为它相对容易使用，并且让公司启用了DevOps。“我们放弃了Kubernetes的一些概念；我们只想使用标准化框架。”Changjian说。“我们利用Kubernetes的可编程性，以便我们可以构建一个平台来满足内部客户的升级和部署需求。”
该团队首先专注于构建容器平台，以更好地管理资源，然后通过添加监控等内部系统，将注意力转向改进其对微服务的支持。这意味着整合CNCF项目Prometheus、Envoy、Harbor、gRPC和Helm。“我们努力提供简化和标准化的流程，因此我们的用户和客户可以利用我们的最佳实践。”Changjian说。
团队正在继续改进。例如，企业的电子商务部分需要利用混合部署，这在过去需要使用两个独立的平台：基础架构即服务平台和Kubernetes平台。最近，网易创建了一个跨平台的应用程序，可以同时使用单命令部署。
“只要公司拥有一支成熟的团队和足够的开发者，我认为Kubernetes是一种非常好的技术，可以帮助他们。” - Li Lanqing，网易Kubernetes开发者
今天，网易内部云平台“可以在一个集群中支持30,000个节点。”架构师Zeng Yuxing说。“在生产中，我们在单个集群中获得了10,000个节点的数据。整个内部系统正在使用该系统进行开发、测试和生产。”
网易团队报告说，Kubernetes使研发效率提高了100％以上。部署效率提高了280％。“在过去，如果我们想进行升级，我们需要与其他团队合作，甚至在其他部门工作。”Changjian说。“我们需要特殊的工作人员来准备一切，所以花了大约半个小时。现在我们可以在5分钟内完成。”新平台还允许使用GPU和CPU资源进行混合部署。“之前，如果我们将所有资源都用于GPU，我们就不会为CPU提供备用资源。但是现在我们通过混合部署得到了改进。”他说。这些改进也提高了资源的利用率。
“通过与这个社区合作，我们可以从中获得一些经验，我们也可以从中受益。我们可以看到社区面临的问题和挑战，并参与其中。” - Li Lanqing，网易Kubernetes开发者
基于使用其内部平台的结果和经验，该公司向外部客户推出基于Kubernetes的云和面向微服务的PaaS产品，网易轻舟微服务。“我们的想法是，我们可以找到我们的游戏和电子商务以及云音乐供应商遇到的问题，因此我们可以整合他们的经验，并提供一个平台来满足用户的需求。”Changjian说。
无论是否使用网易产品，该团队都鼓励其他公司尝试Kubernetes。“只要公司拥有一支成熟的团队和足够的开发者，我认为Kubernetes是一种非常好的技术，可以帮助他们。”Kubernetes开发者Li Lanqing说。
作为最终用户和供应商，网易已经更多地参与社区，向其他公司学习并分享他们所做的事情。该团队一直在为Harbor和Envoy项目做出贡献，并在网易规模测试技术时提供反馈。“我们是一个专注于解决微服务架构挑战的团队。”Changjian说。“通过与这个社区合作，我们可以从中获得一些经验，我们也可以从中受益。我们可以看到社区面临的问题和挑战，并参与其中。”
KubeCon + CloudNativeCon + Open Source Summit大会日期：
- 会议日程通告日期：2019 年 4 月 10 日
- 会议活动举办日期：2019 年 6 月 24 至 26 日
KubeCon + CloudNativeCon + Open Source Summit赞助方案
KubeCon + CloudNativeCon + Open Source Summit多元化奖学金现正接受申请
KubeCon + CloudNativeCon和Open Source Summit即将首次合体落地中国
KubeCon + CloudNativeCon + Open Source Summit购票窗口，立即购票！
CNCF邀请你加入最终用户社区