324页13万字高校数字化校园大数据中心及大数据平台建设方案

一、 数据中心总体规划

云资源中心加大数据分析与高性能主要分为计算资源、内存资源、存储资源、网络资源，大数据分析系统，高性能作业调度系统，本项目在充分整合XXX高校数据中心资源的基础上，配置必要软硬件设备，为XXX高校信息系统提供统一的基础设施服务，在IaaS层构建较为完整的XXX高校云计算平台。建设内容包括以下几部分：

硬件设备：服务器、存储、、SAN交换机、交换机、负载均衡、VPN网关。

软件设备：物理服务器和虚拟服务器的操作系统、虚拟化软件、中间件、大型数据库系统、云计算管理平台、Hadoop组件、高性能管理软件、高性能作业调度软件、高性能集群存储系统。

安全系统：防火墙、入侵防御、防毒墙、网页防篡改、身份认证系统、运维安全审计系统、数据库安全审计系统、漏洞扫描系统。同时采购专业机构提供的云安全服务等。

机房配套设备：UPS、精密空调、标准机架。

如上图，XXX高校云计算中心将建设三大块业务中心，分别是云平台虚拟化中心、大数据分析系统和高性能计算中心。并且通过统一管理平台提供对整体云计算中心的统一软硬件管理，为学校云平台虚拟化应用、大数据分析系统、高性能计算业务和管理提供统一界面入口，对服务器虚拟化中心软硬件设施、大数据分析平台硬件设施、高性能计算软硬件设施以及三大业务中心的业务管理提供统一管理运维平台。为学校云计算用户提供业务发布、业务使用、业务管理等功能。

服务器虚拟化云中心：在校园云计算资源中心中利用服务器虚拟化技术、存储虚拟化技术和网络虚拟化技术等建设集中统一的服务器虚拟化中心，利用高性能云计算服务器组成虚拟化集群，为各院系提供数以百计，数以千计的弹性虚拟服务器架构，并且提供虚拟服务器的生命周期管理、利用服务器虚拟化的高可用技术提供业务连续性保障。为各院系和校园各业务系统提供弹性可扩展、快速可恢复、安全可靠的服务器基础架构。为旧业务的迁移、新业务的部署提供快速、安全、自动化的业务部署模式。

大数据分析系统：高校研究项目众多，教师教学任务等很多都会用到大数据分析平台，大数据将给IT行业开拓一个新的黄金时代，作为成都重要的高校我们有义务在这些前沿科技上做出对人类、社会、四川、成都有帮助的研究并造福人类、造福四川和成都，为提高资源利用率所一建议建立统一的大数据分析平台供学校各学科教学和个科研方向研究使用。

高性能计算中心：高校有很多院系都存在需要进行高性能计算的相关业务需求，比如水文分析、化学分子分析、机械模型分析、数据建模等都有高性能计算的需要。如果各院系都自己建设高性能计算平台的话，会造资源的极大浪费。通过在云数据中心建设一套统一的高性能平台，在各院系需要进行相关计算时，进行对应的软件部署，并进行相关业务运算。即可以提高硬件的使用效率，又可以节约资源。本期方案将为学校在云数据中心建设一套高性能计算中心，以便为学校各院系服务。

统一管理平台：高校云计算资源中心包括服务器虚拟化中心、校园云盘系统、高性能计算中心等云计算系统，这些系统的维护均有自己的维护页面，再加上云计算中心的硬件设施，维护会非常复杂，为了降低维护和使用难度，提供统一管理平台，为各系统管理员提供统一管理的界面。对各系统进行统一维护，且提供安全保障。

在硬件上实现散热、电源、管理功能等非IT资源的集中化和模块化，并利用软件虚拟化技术实现计算、存储等IT资源的池化和集中管理；将非计算部分的存储、网络等IO设备进行池化，机柜内采用高速网络互联，并以软件定义的计算、软件定义的存储和软件定义的网络来满足业务需求，并实现完全的软件定义；将CPU、内存等所有的IT资源完全池化，从硬件上可实现任意组合，根据应用需求智能地分配和组合相关资源，实现完全意义上业务驱动的软件定义数据中心，软件上实现业务驱动和应用感知。

二、 云数据中心建设规划

云计算平台逻辑架构图

云设施即服务(IaaS，Cloud Infrastructure as a Service)：系统供应商可以向用户提供同颗粒度的可度量的计算、存储、网络和单机操作系统等基础资源，用户可以在之上部署或运行各种软件，包括客户操作系统和应用业务。

云平台即服务 (PaaS，Cloud Platform as a Service)：云计算平台供应商将业务软件的开发环境、运行环境作为一种服务，通过互联网提交给用户。云平台即服务，需要构建在云基础设施之上。用户可以在云平台供应商提供的开发环境下创建自己业务应用，而且可以直接在云平台的运行环境中上运营自己的业务。

云软件即服务(SaaS，Cloud Software as a Service )：运营商通过互联网，向用户提供软件服务的一种软件应用模式。传统的SaaS与云SaaS，在客户体验上基本类似，如新浪邮箱和Gmail邮箱，客户感受是类似的。但传统的SaaS直接构建在硬件设备之上，不能实现后台资源的多租户共享，也无法实现资源的动态流转，实际并不属于云计算的范畴。云SaaS，要求这些软件业务运行在云平台服务层或构建在云基础设施层之上。云SaaS的优势，体现在后台资源的动态伸缩和流转上，资源可扩展性更强，这一重大优势是传统SaaS所不具备的。

本方案中云计算平台由资源池、虚拟化平台、云管理平台组成。资源池部分主要有物理设备组成，包括服务器，存储和网络等基础架构资源，通过虚拟化平台对基础架构设备进行池化，从而形成资源池；虚拟化平台就是将物理资源进行池化的软件组合；云计算管理平台就是对底层资源池和虚拟化软件进行管理，并且，针对管理和运维需要，云计算管理平台实现云计算服务的交付和云计算中心用户和流程的管理以及数据中心的监控。

4.1 资源池规划

什么是资源池

云计算的核心特性是利用规模化效应降低单位资源的管理成本和使用成本，而规模化的一个前提是资源的物理集中，因此被管理的资源最好集中在少数几个中心，而不是分布在很多物理位置。

云计算资源池是采用池化的办法，把服务器、存储、网络等资源按照不同的标准组织成不同的资源池。通过资源池的管理模式，云计算管理员无需去考虑具体的服务器、存储和网络配置。

在一个资源池内，通常可以包括服务器、存储空间、网络端口等，这样，在一个资源池中我们就可以为某一个应用系统提供它所需要的所有计算资源。通过云计算的自动化功能，云计算平台管理员可以方便、快速的在资源池中定制化的选择应用系统需要的计算资源数目,根据业务的应用类型进行云计算平台资源的分配。

资源池的特征

（1）多实例

通过服务器虚拟化，在一个物理服务器上可以运行多个虚拟服务器，即可以支持多个客户操作系统。服务器虚拟化将服务器的逻辑整合到虚拟机中，而物理系统的资源，如CPU，内存，硬盘和网络等，是以可控方式分配给虚拟机的。

（2）隔离性

在多实例的服务器虚拟化中，一个虚拟机与其他虚拟机完全隔离。通过隔离机制，即便其中的一个或者多个虚拟机崩溃，其他的虚拟机也不会受到影响，虚拟机之间也不会泄露数据。如果多个虚拟机内的进程或者应用程序之间想互相访问，只能通过所配置的网络进行通信，就如同采用虚拟化之前的几个独立的物理服务器之间需要通过网络来访问一样。

（3）封装性

即相对硬件独立性。在采用了服务器虚拟化智慧，一个完整的虚拟机环境对外表现为一个单一的实体（例如一个虚拟机文件、一个逻辑分区），这样的实体非常便于再不同的硬件间备份、移动和复制等。同时，服务器虚拟化将物理机的硬件封装为标准化的虚拟硬件设备，提供给虚拟机内的操作系统和应用程序，保证了虚拟机的兼容性。

（4）高性能

与之间在物理机上运行的系统相比，虚拟机与硬件之间多了一个虚拟化抽象层。虚拟化抽象层通过虚拟机监视器VMM或者虚拟化平台来实现，并会产生一定的开销。这些开销为服务器虚拟化的性能损耗。服务器虚拟化的高性能是指虚拟机监视器VMM的开销要被控制在可承受的范围之内。

（5）兼容性

随着技术的不断推进，新的服务器无法运行原来比较古老的操作系统，例如，某客户很久之前在某个服务器上安装了win2000的操作系统，应用的开发团队因为某些原因解散了，因而用户失去了应用升级的支持。随着时间的发展，原来的服务器已经损耗非常严重，用户希望对服务器进行升级。在没有做相应新的驱动开发的情况下，无法在新的服务器上安装win2000。通过虚拟化技术可以虚拟出一个标准的虚拟硬件设备，兼容稍微陈旧的操作系统。这样就能实现用户应用运行在原有的系统环境中，但是支持用户应用系统是最新架构的、性能强劲的新的服务器。

4.5数据中心统一管理平台规划

计算资源中心包括硬件基础设施、服务器虚拟化中心、大数据分析系统和高性能计算中心，采用统一管理平台统一管理接口，保证统一管理平台，实施基于ITIL的运维流程非常重要，同时，云计算资源中心提供包括IAAS、PASS（高性能计算业务）和SAAS（云盘业务）等多种云业务，通过统一管理平台提供业务发布平台，所有的云业务均通过业务发布平台进行业务发布，为用户提供统一访问入口，将为用户提供极大的方便性。

统一管理平台方

统一管理平台基础架构如下：

统一管理平台通过配置数据库，调用底层各应用系统的API接口，和底层各应用系统进行对接。运维人员通过统一界面对各业务系统进行监控和维护，调用各业务系统的功能，进行相关业务发布。通过工作流引擎定义运维流程和发布流程，为用户提供云业务。云计算中心统一管理平台提供了管理框架，通过此管理框架，可以集成多种不同的云业务，并通过集成工作流引擎，灵活配置管理和发布流程，和企业OA和ERP平台进行集成，提供符合公司企业业务流程的管理平台。

统一管理平台基础功能

Ø 底层平台

n 多云配置及管理

添加和管理平台支持的多个云业务平台，其中云业务平台接口集成需要定制开发；

管理每个客户项目需要的虚拟化平台；

n Openstack接口集成

集成Openstack的常规管理接口，封装成可以直接被业务层调用的API。通过API调用具体云平台业务。

n 虚拟化层监控组件

监控平台计划中包括物理层、虚拟化层和应用层监控，其中虚拟化层监控的功能从底层平台接入，物理层通过第三方厂商业务集成接入，应用层通过业务定制组件集成接入。

需要管理的监控项通过虚拟化平台接口集成实现

Ø 客户自服务中心

n 云业务管理

分数据中心、分不同云业务类型对云业务平台进行管理。

对所有的云业务管理提供三个维度的标签管理，业务类型、监控优先级

管理功能分类如下：

① 日常运维管理类

当前用户权限范围内的已有资源数量、使用情况、资源池总量和使用情况、报警信息、历史记录、操作日志

② 网络类

网络相关的设置和管理，VPN、子网等配置

③ 资源变化类

资源池内资源的新建、扩容和销毁。

提供申请“资源扩容”的入口，低级管理员向高级管理员申请，顶级管理员不提供功能入口。

文章引用的资料均通过互联网等公开渠道合法获取，仅作为行业交流和学习使用，并无任何商业目的。其版权归原资料作者或出版社所有，本文作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权，请立即通知作者删除。