容器平台

山东大学云计算平台

基本介绍

• 山东大学、华为与联科围绕山东大学的高性能计算、云计算、大数据、深度学习及数据分析统计科研的需求

• 构建一个基于混合硬件架构、计算能力超过300TFOPS、存储能力超过1PB的计算平台

• 打造一个基于容器技术的有高性能计算能力的高校公共计算云平台的管理模式和应用服务体系

• 系统在2017年12月正式发布，以“硬件+软件+服务”的方式，大幅降低计算用户的使用门槛

• 硬件架构

  
  
  

• 软件架构

  
  
  

核心理念EaaS

• 联科云计算平台CCMP的核心理念是EaaS(Environment as a Service)
• 由于现代计算需求的多择性，我们需要的不只是EaaS的E,PaaS的P,SaaS的S，更是一个包括软件、数据、输入输出渠道的环境

EaaS运行服务方式

• 每个用户都是环境的需求者，同时也是贡献者
• 平台为学校师生预构建好计算环境镜像，包括数据 + 硬件 + 软件堆栈，方便的申请配置好的系统环境
• 用户可以向平台贡献应用镜像、应用数据、应用服务

阿里容器服务（ Container Service）

https://www.aliyun.com/product/containerservice?utm_medium=text&utm_source=baidu&utm_campaign=zhongjianjian&utm_content=se_1000122461

• 提供高性能可伸缩的容器应用管理服务，支持用Docker和Kubernetes进行容器化应用的生命周期管理
• 提供多种应用发布方式和持续交付能力并支持微服务架构
• 整合了阿里云虚拟化、存储、网络和安全能力
• 容器服务简化了容器管理集群的搭建工作，打造云端最佳容器运行环境

系统典型结构

DevOps

机器学习

我们的情况

几个问题

镜像容器管理技术

• Mesos
  • Mesos是一个分布式调度系统内核
  • 早于Docker产生，Mesos 作为资源管理器，从DC/OS(数据中心操作系统)的角度提供资源视图
  • 主/从结构工作模式，主节点分配任务，并用从节点上的Executor负责执行
  • 通过Zookeeper给主节点提供服务注册、服务发现功能
  • 通过Framework Marathon 提供容器调度的能力。

• Kubernetes
  • Kubernetes的实现参考了Google内部的资源调度框架，但并不是Borg的内部容器编排系统的开源，而是借鉴Google从运行Borg获得的经验教训，形成了Kubernetes项目
  • 它使用Label和Pod的概念来将容器划分为逻辑单元。Pods是同地协作（co-located）容器的集合，这些容器被共同部署和调度，形成了一个服务，这是Kubernetes和其他两个框架的主要区别。相比于基于相似度的容器调度方式（就像Swarm和Mesos），这个方法简化了对集群的管理.

• Docker Swarm
  Docker Swarm是一个由Docker开发的调度框架。由Docker自身开发的好处之一就是标准Docker API的使用，Swarm由多个代理（Agent）组成，把这些代理称之为节点（Node）。这些节点就是主机，这些主机在启动Docker Daemon的时候就会打开相应的端口，以此支持Docker远程API。这些机器会根据Swarm调度器分配给它们的任务，拉取和运行不同的镜像。

  
  
  

代码管理

• git 私有仓库
• 代码校验，文件md5

数据管理

• 读可访问公共存储上的数据（也可download到本地容器）
• 临时数据生成在本地容器中
• 结果数据最终上传到公共存储上

连接登录管理

• 可查看连接
• 可终止连接