237页(10万字)数据中台建设方案2022版本

集中式服务仓库

类似于Maven的集中仓库,TOS也自带了一个集中式的应用服务仓库。用户需要启动一个已存在于仓库中的应用时,只需要将该应用的Docker image拉下来启动即可。

仓库预置了常用的应用服务,如完整Docker化的Transwarp Data Hub各个组件和Tomcat、MySQL等常用服务。如果用户想要使用其他应用服务,也可以通过TOS提供的接口,在测试环境将应用服务制作为DockerImage,上传至TOSmarket,即可在生产环境下载并使用。

基于分布式容器集群管理系统(TOS)构建的服务器虚拟化资源池,可为大数据平台系统的各类应用、分布式计算和存储服务组件提供多租户隔离的容器资源调配管理、应用打包部署及SLA管理、作业调度管理以及统一运维监控管理。

该系统具备以下优势:

便捷部署

基于TOS,用户可以通过Web UI、REST API或者命令行一键瞬间安装和部署TDH集群,能自动根据服务的依赖性安装所需的其他服务组件。在虚拟技术之前,部署硬件资源满足新的应用需求需要几天时间,通过虚拟化技术把这个时间降到了分钟级别,而目前基于Docker的TOS云平台把时间降到了秒级别。Docker作为装载进程的容器,不必重新启动操作系统,几秒内能关闭,可以在数据中心创建或销毁,没有额外消耗。典型的数据中心利用率是30%,通过更积极的资源分配,以低成本方式对新的实例实现更合理的资源分配,从而提高数据中心的利用效率。

完整的资源隔离

TOS通过优化Kubernetes资源管理框架实现了基于Docker容器对CPU、内存、硬盘和网络更好的隔离。TOS中Docker容器的隔离目前是由Linux内核提供的六项隔离,包括主机名与域名的隔离,信号量、消息队列和共享内存的隔离,进程编号的隔离,网络设备、网络栈、端口的隔离,挂载点(文件系统)的隔离,用户和用户组的隔离。这些隔离保证了不同容器的运行环境是基本不受影响的,比如挂载点的隔离,就保证了一个容器中的进程不能随意访问另外一个容器中的文件。

TOS平台相比于传统的Apache Yarn管理框架和开源Kubernetes的资源管理框架而言,在资源粒度方面可以管控磁盘和网络,而传统资源调度框架只能管理到CPU和内存;在隔离性方面,容器技术有天然的优势;在依赖性和通用性方面,不依赖于Hadoop组件以及技术,这意味着可以实现所有上层应用的云化开发、测试、升级以及管理调度。


cc4685fb5ad83b8fe89025c99720ecfd.png237页(10万字)数据中台建设方案2022版本_第1张图片

237页(10万字)数据中台建设方案2022版本_第2张图片

237页(10万字)数据中台建设方案2022版本_第3张图片

237页(10万字)数据中台建设方案2022版本_第4张图片

237页(10万字)数据中台建设方案2022版本_第5张图片

237页(10万字)数据中台建设方案2022版本_第6张图片

237页(10万字)数据中台建设方案2022版本_第7张图片

237页(10万字)数据中台建设方案2022版本_第8张图片

237页(10万字)数据中台建设方案2022版本_第9张图片

237页(10万字)数据中台建设方案2022版本_第10张图片

237页(10万字)数据中台建设方案2022版本_第11张图片

237页(10万字)数据中台建设方案2022版本_第12张图片

237页(10万字)数据中台建设方案2022版本_第13张图片

237页(10万字)数据中台建设方案2022版本_第14张图片

237页(10万字)数据中台建设方案2022版本_第15张图片

237页(10万字)数据中台建设方案2022版本_第16张图片

237页(10万字)数据中台建设方案2022版本_第17张图片

237页(10万字)数据中台建设方案2022版本_第18张图片

237页(10万字)数据中台建设方案2022版本_第19张图片

237页(10万字)数据中台建设方案2022版本_第20张图片

237页(10万字)数据中台建设方案2022版本_第21张图片

237页(10万字)数据中台建设方案2022版本_第22张图片

237页(10万字)数据中台建设方案2022版本_第23张图片

237页(10万字)数据中台建设方案2022版本_第24张图片

237页(10万字)数据中台建设方案2022版本_第25张图片

237页(10万字)数据中台建设方案2022版本_第26张图片

237页(10万字)数据中台建设方案2022版本_第27张图片

237页(10万字)数据中台建设方案2022版本_第28张图片

237页(10万字)数据中台建设方案2022版本_第29张图片

237页(10万字)数据中台建设方案2022版本_第30张图片

237页(10万字)数据中台建设方案2022版本_第31张图片

237页(10万字)数据中台建设方案2022版本_第32张图片

237页(10万字)数据中台建设方案2022版本_第33张图片

237页(10万字)数据中台建设方案2022版本_第34张图片

237页(10万字)数据中台建设方案2022版本_第35张图片

237页(10万字)数据中台建设方案2022版本_第36张图片

237页(10万字)数据中台建设方案2022版本_第37张图片

237页(10万字)数据中台建设方案2022版本_第38张图片

237页(10万字)数据中台建设方案2022版本_第39张图片

237页(10万字)数据中台建设方案2022版本_第40张图片

237页(10万字)数据中台建设方案2022版本_第41张图片

237页(10万字)数据中台建设方案2022版本_第42张图片

237页(10万字)数据中台建设方案2022版本_第43张图片

237页(10万字)数据中台建设方案2022版本_第44张图片

237页(10万字)数据中台建设方案2022版本_第45张图片

237页(10万字)数据中台建设方案2022版本_第46张图片

237页(10万字)数据中台建设方案2022版本_第47张图片

237页(10万字)数据中台建设方案2022版本_第48张图片关注+转发+评论,下载资料请私信。

文章引用的资料均通过互联网等公开渠道合法获取,仅作为行业交流和学习使用,并无任何商业目的。其版权归原资料作者或出版社所有,作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权,请立即通知作者删除。

你可能感兴趣的:(大数据)