曙光机群介绍

曙光天潮TC 4000A 机群介绍

 

曙光TC 4000A 高性能计算机是国家863计划高性能计算机及其核心软件重大专项支持的研究项目，是面向网格的高性能计算机，可以为网格提供计算服务，同时也是面向信息服务的超级服务器，可以提供多目标的系统服务。曙光TC 4000A 采用网格技术，体系结构以构件性(Component)、标准性(Standard)、协作性(Coordinate)为基准，采用服务化(Service)、安全化(Security)、专业化(Specialization)、智能化(Intellengce)的3SI技术路线。

曙光TC 4000A 的第一套超大型系统于04年9月份落户“上海超级计算中心”，该系统的节点机采用四路AMD Opteron 848(主频2.2GHz)处理器，每个节点8GB内存，整个系统由640个节点组成庞大机群，共有2560颗CPU与5T海量内存，其理论浮点峰值为每秒11.264万亿次。在 2004年 6月 22日 刚刚公布的全球高性能计算机TOP500排行榜中，该套系统以每秒11万亿次的峰值速度和80610亿次Linpack计算值位列全球第十，效率达到71.56%，这是中国超级计算机得到国际同行认可的最好成绩。随着曙光TC 4000A 的推出，中国已经成为继美、日之后第三个跨越了10万亿次计算机研发应用的国家。

技术路线：

曙光TC 4000A 高性能计算机的技术路线包括：数据密集技术(Data-intensive)、支持网格(Grid-enabling)、多目标系统(Multiple-system)、应用专用技术(Application-specific)四个方面。

(1) 面向数据密集型国家战略应用目标

曙光TC 4000A 的产品目标定为市场空缺较大的 “ 数据密集型 ” 应用，如Internet内容处理为代表的信息安全，数据密集以Internet数据获取与分析为特点；雷达图像处理为代表的国防安全，数据密集以I/O吞吐量密集、数据计算密集为特点；生物信息处理、石油物探为代表的资源安全，数据密集以TB量级大规模数据存储、处理、传输为特点。通过与中科院计算所合作，集中研究它们的共性 “ 数据密集 ” 技术，有存储数据密集，I/O吞吐量密集，Internet数据接入密集，系统间数据互传密集，数据处理密集等等。我们力求在机群系统通用体系结构下，增加解决 “ 数据密集 ” 的技术，使整个系统能有效地解决应用问题。为国家安全目标和重大科研目标，提供高性能计算平台。

(2) 面向网格技术和产业共性技术

面向支持网格(Grid-enabling)的技术，使曙光TC 4000A 能有效地支持应用网格。在应用网格上主要面向五个方面：基于服务(Service-based)的机群操作系统，网格通信协议，网格文件系统，用于网格应用资源路由的智能网卡，支持网格的高性能计算机体系结构。分别体现网格在管理、广域通信、广域文件、资源发现、体系结构上的要求。

曙光TC 4000A 的新技术特色将集中在十个产业共性技术上，他们分别是Grid- enabling技术，高性能通信，高性能I/O和存储，可扩展自治管理和可信性评价技术，机群专用处理技术，交换机和特色网卡，数字视频服务技术，机群商业计算中间件，面向客户的性能测试技术，高性能计算应用和算法。

(3) 面向行业应用，满足应用专用技术

曙光TC 4000A 的市场方向是满足多应用目标，强调应用专用技术，采用 “ 通用系统＋专用应用 ” 的思想。我们曙光的大规模计算机系统要能与国际品牌相抗衡，建立市场新格局；曙光天潮服务器已经陆续进入科研、石油、制造、军队、企业MIS各大行业，为大型企业服务。截至2004年6月份，曙光TC 4000A 已成功运行了天气预报、石油地震资料处理、核能开发利用、计算流体力学、基因与蛋白分析和材料科学等领域的30多项应用，表现出强大的科学计算、事务处理和信息服务能力。

　　

系统组成：

服务器节点

曙光TC 4000A 可以根据客户的需求，配置曙光提供的多种型号节点服务器，分别有2U/ 3U / 12U之大小不同的机架式服务器。由2004年初开始，曙光节点服务器均采用64位处理器，使系统速度与业界发展水平保持同步。

曙光TC 4000A 节点服务器的主选机型是“ 曙光天阔R 4280A /R 4380A /S 4800A ”，这是我们最新推出的64位四路机架式服务器(其中S 4800A 为 64 位四路塔式/机架式服务器) , 采用了AMD Opteron ™ 800 系列处理器，CPU集成双通道内存控制器,支持先进的 Chipkill ™ 内存纠错技术和Hyper Transport ™ （超传输）技术。R 4280A /R 4380A /S 4800A 具有良好的平滑升级能力，可扩展性和高可用性，符合曙光之特色的SUMA技术标准，完全满足ISP、电信、金融等行业对稳定性、可靠性、处理性能的苛刻要求。

曙光TC 4000A 的节点服务器均内置曙光专用系统监控卡，实时地采集节点服务器运行数据并报告给系统管理控制台，并且通过主机柜的LCD监控屏显现给系统管理人员，由此构成曙光TC 4000A 的全方位管理监控系统。

注：有关曙光天阔 R 4280A /R 4380A /S 4800A 的详细配置和技术参数，请阅其产品白皮书和相关技术资料。

 

服务器机柜

与以往天潮机群服务器机柜相比，曙光TC 4000A 在生产上具有较多的改进，无论是从型材还是物理结构方面，都采用了更为新颖的设计。依据实用性第一的原则，为了使系统管理员或维修人员可以方便的开关机柜、操作系统、排除故障，曙光TC 4000A 机柜的四面都使用锁结构，整个系统主机前门、后门、两边侧门均可从外部打开，方便拆卸。机柜内部精心设计了网络、电源的布线和插孔，方便各种应用节点的就近插接，构造了整洁的机柜内部环境，极大的方便了用户设备调试和故障排查。

曙光TC 4000A 机柜内部高度有41U的空间容量，其中主机柜已被电源控制系统占用了4U；配置4U电源的主机柜可联带8台扩展柜；用电容量的最大设计为3× 20A 。

在曙光TC 4000A 的主机柜前门上方，安置了 15 ” 真彩LCD可触摸监控屏，整个系统的软硬件运行状态可以实时动态显示、一目了然，用户可以直接通过触摸监控屏而进行人机交互，简单方便地对系统进行管理和监控。另外，主机柜内配置有4U监控管理节点，全面采集和收集整个系统的运行环境、各节点的软硬件运行状态，可对节点发送控制指令，并负责整体机柜系统的I/O。

 

存储系统

针对数据密集技术(Data-intensive)的应用，曙光TC 4000A 提供了丰富的磁盘存储系统――

DS-2120 系列产品。该系列产品可根据用户需要不同，而灵活提供ATA盘阵、SCSI盘阵和光纤盘阵三种存储介质，以及1.75T―3T―18T不同的存储容量；每个单体盘阵具有12盘位，仅有2U的高度，极大的节约了机柜空间；盘阵前面板设有LCD管理窗口，管理方式支持RS232、LCD管理面板、JACA GUI管理，直至10/100MB/s以太网接口远程Telnet/Web Browser的管理，管理员甚至无须安装软件，即可通过IE浏览器进行监控管理。

曙光DS-2120盘阵系列产品的控制器采用IBM PowerPC 750Cxe CPU，其先进的Supper Scalars架构（在一个时钟内执行多个指令）有效地提高MIPS速度，在实际系统应用中能真正达到速度提升，同时在其CPU内部集成了256KB内部二级缓存，大大缩短了CPU与Cache的交互时间；控制器还采用了双ASIC、双PCI总线设计，突破了单PCI总线的瓶颈，系统总线带宽达到了1GB/s，同时双ASIC芯片的设计又使得控制器的可靠性、处理性能得到大幅提升；盘阵的高速缓存具有ECC功能，最大可扩充至1GB，总线带宽达到1066MB/s，还支持锂电池保护功能；另外，盘阵的独立硬件XOR芯片设计，不再占用CPU资源，大大提升了运行性能和可靠性。

曙光DS-2120盘阵系列产品兼容多种操作系统，包括Windows、 AIX、 Sun Solaris、HP-UX、Novell NetWare和Linux、SCO Open Server等各种主流网络系统，支持完全在线的容量扩展和RAID级别变更。

曙光资深工程师可以为用户提供性价比高、系统稳定的存储解决方案。

注：有关曙光 DS-2120SA / FA/ F 磁盘阵列的详细配置和技术参数，请阅其产品白皮书和相关技术资料。

 

 

系统配备

曙光TC 4000A 配备了全方位的硬件监控系统。由曙光公司自主研发的、符合业界标准的“三合一”路由器，构成TC 4000A 系统的硬件管理专用网络，可以实时地传递系统硬件的状态信息，包括机柜交流电源的电压、电流、工作环境、稳定状态等信息。节点服务器的数据采集卡采用独立的硬件XOR芯片设计，不占用服务器CPU资源，同时独立于用户操作系统之外，可以采集节点服务器的硬件信息和工作状态。曙光TC 4000A 的硬件监控系统满足跨平台、跨操作系统的应用需求，在业界范围内具有世界水平。

曙光TC 4000A 配备有新颖的视频切换系统。该系统实现了视频、管理、监控三网合一技术，通过曙光自制的“三网合一”监控路由器、KVM终端盒、数据采集卡，最终在一个终端对整体机群进行视频、监控及电源管理。视频切换系统终端是仅有1U高度、可折叠式控制台，配置真彩液晶显示器，可以自由伸展折叠，轻巧美观实用，极为方便地满足用户管理与监控需要。用户也可自身根据需要，采取主机柜外部连接普通I/O设备，包括通用显示器、鼠标、键盘等，达到对系统的监控、管理目的。

曙光TC 4000A 配备的网络系统具有特色，由曙光高级技师设计生产，使用专用线槽以优化机柜内部网络布局，保证布线整洁、标识清楚，方便用户日常管理和进行网络维护，多次得到大用户的认可与称赞。曙光TC 4000A 的网络系统充分考虑了扩展性，无论是 1000M 以太网络还是Myrinet网络（以及其他常用网络），均可以在满配置节点运行情况下，保障机群系统正常通畅地交换数据、运行计算。

曙光TC 4000A 配备专用电源系统，可分别选择使用2相220V或3相380V（带保护地）的交流电源；在机柜内部提供电源优化分配系统，保证各个节点就近供电，便于管理维护；另外还提供＋5V、＋12V等直流电压，用于系统控制和管理。

 

机柜内部支持各种 19 ” 工业标准的通讯节点，用户可根据需要选配千兆交换机、 Myrinet 交换机、 百兆交换机、HUB、路由器等通讯节点。

户可根据需要选配符合 19 ” 工业标准的安全服务器节点，构造硬件级的系统安全。

曙光天潮超级服务器TC 4000A 可以支持各种符合 19 ” 工业标准的视频切换节点（KVM 、SKVM）。

技术特色：

服务器聚集技术

曙光天潮超级服务器 TC 4000A 采用了聚集技术，可以支持 高性能科学群集、负载均衡群集和高可用性群集 ， 并且通过软硬件结合实现跨平台管理和监控，不仅是国内首创，在世界上也处于技术发展的前沿。 基于使用曙光自主研发的主板S4880节点的64位机群系统 由于采用了类似于ALPHA构架的64位OPTERON处理器和4路服务器体系结构，曙光 4000A 对于应用的支持是目前机群系统中最好的，特别对于没有经过优化的并行应用和串行应用，曙光TC 4000A 的效率会远远超过其他机群系统。

 

系统监控、管理技术

曙光天潮超级服务器TC 4000A 利用简单直观的管理工具来管理整个集群，极大地提高了工作效率。曙光天潮超级服务器TC 4000A 的监控工具可以监控到整个集群的软硬件运行状态，如：整个系统工作环境，各节点CPU和内存的使用率，各节点主板温度、CPU温度，机箱风扇转速、CPU风扇转速，主板电压、CPU电压等等，使系统管理员对各节点的情况一目了然。监控工具同时提供了报警功能，当出现故障点时（如温度异常、风扇停止转动等），可以及时提醒系统管理员进行处理，避免或减少系统故障和由其引起的用户损失。系统规模越大，系统管理和监控的效率越高。

单一系统映象（Single System Image）

系统中所有分布的资源被组织成一个统一的整体由用户管理和使用，用户感受不到单个结点计算机的存在。从用户的角度看，一个机群系统就如同一个具有巨大配置的单一计算机系统。SSI是曙光天潮超级服务器TC 4000A 系统中的关键技术之一。

高可用技术（High Availability）

曙光天潮超级服务器TC 4000A 服务器对用户应用（如FTP、Web等）实现了“单一IP、负载平衡、失效转移”工作模式，突破了多项集群服务器中的关键技术，如单一系统映象技术、多机HA技术、负载平衡技术等。

曙光天潮超级服务器TC 4000A 随时监测集群内各个节点的运行状态，一旦发现某个或某些节点故障，则不再将客户请求分发给这个（些）节点，客户的请求将通过其它工作正常的节点得到响应，整个过程无须人工的参与。同时，曙光天潮超级服务器TC 4000A 构造了一个完全没有单一故障点的集群方案，使整个系统的可用性得到了最大限度的提高。

大规模并行计算机和超级信息服务器应用的统一

曙光天潮超级服务器TC 4000A 集成PVM,MPI环境，可为企业提供高效，省时的高强度计算。它的超级计算能力允许用户利用普通的服务器在不修改应用程序的情况下达到超级计算机的水平。尤其适合用户使用特点的是，曙光天潮超级服务器TC 4000A 可以根据用户计算规模的需要，动态分配部分节点用于并行计算，或对整个系统动态分配空闲时间（如夜间）作为并行计算的平台，满足带有科研性质或中小规模的并行运算需要。一个单位、或一个部门，可以将曙光天潮超级服务器TC 4000A 当作信息服务器平台，满足各种Internet/Intranet的需求，也可根据应用需要，全部或部分划分成并行计算平台，实现一机多用的效果。

系统支持动态扩展

曙光天潮超级服务器TC 4000A 的集群式架构决定了其具有优异的动态扩展性。根据用户应用需要，可以选择扩展能力很强的通用节点。尤其需要指出的是，曙光天潮超级服务器TC 4000A 的动态伸缩性非常强。用户如果需要减少节点数目，可以随时指定节点与整个系统隔离；用户如果需要扩展节点，只需稍微变更配置文件即可完成；对于LINUX通用节点，用户甚至可以使用曙光天潮超级服务器TC 4000A 提供的节点自动安装功能，曙光天潮超级服务器TC 4000A 会为用户自动安装（包括操作系统）和配置应用节点。

系统的好用性

曙光天潮超级服务器TC 4000A 在功能上追求实用性，尽量保证用户操作的简单性，用户人机交互接口灵活多样，全方位满足用户使用需求。曙光天潮超级服务器TC 4000A 不仅追求功能上的尽善尽美，而且定位于每一项设计都要让用户“看得到、摸得着”，真正服务于用户，受益于用户。多层次LCD显示和查询；全方位的管理和监控；详尽的使用文档和帮助系统；操作界面简洁、功能清楚；LINUX操作系统上创造Windows风格等等方便于用户的设计都是曙光天潮超级服务器TC 4000A 的杰作。

软件系统：

在系统的可扩展性、可管理性、可用性等方面有了较大提高，既支持信息服务，同时又支持大规模科学计算。系统采用cluster体系结构，可运行32位LINUX/Windows操作系统及多种64位操作系统，配合专用的系统管理软件、硬件监控系统和网络部署软件，具有很高的可用性。

利用简单直观的管理工具来管理整个集群，极大地提高了工作效率。曙光天潮超级服务器TC 4000A 的监控工具：整个系统工作环境，

 

曙光机群监控系统DCMM

Dawning Cluster Monitor Management System

曙光TC 4000A 的监控系统DCMM可以监控到整个集群服务器的软硬件运行环境与状态，如各节点网络流量、CPU和内存的使用率，各节点的主板温度与CPU温度，机箱风扇转速与CPU风扇转速，主板电压与CPU电压等等，使系统管理员对全体节点的情况一目了然。监控工具同时提供了报警功能，当出现故障点时（如温度异常、风扇停止转动等），可以及时提醒系统管理员进行处理，避免或减少系统故障和由其引起的用户损失。系统规模越大，系统管理和监控的效率越高。

监控系统DCMM使用专用的协议和Socket接口，在Ethernet上进行数据传递，监控数据对OS透明。监控方式灵活便利，通过节点服务器的前面板LCD，管理员可以查看某个节点的环境与状态；通过主机柜的或控制台LCD，DCMM以柱状图形输出系统硬件信息和软硬件实时运行状态。

监控系统DCMM具有报警预值设置功能，在系统异常、超过预值时，通过声响和画面向系统管理员报警，避免或减少系统故障的损失。监控系统DCMM还支持远程访问，管理员可以通过Modem远程拨号对机群系统进行监控和管理。

 

曙光机群管理系统DCMS

Dawning Cluster Management System

曙光TC 4000A 的管理系统DCMS可以令管理员更方便、更有效地管理整个机群系统，是为保证机群运行的可靠、高效和安全而设计的一套多功能、易使用、可扩展的使用化机群管理工具。DCMS采用跨平台通讯协议，主控制界面可运行于Windows、Linux等系统下，无论是32位的还是64位的操作系统均等效。

管理系统DCMS提供了丰富的管理工具集,可对集群系统、网络等方面进行统一管理和配置，具有客户机/服务器分布式体系结构,可对整体资源并行操作,实现对集群系统的有效管理，同时完美地实现了对集群系统的远程跨平台管理、 集群监控和历史信息记录。

 

曙光机群管理终端 MultiTerm

MultiTerm 是一款功能强大的机群管理软件，使用标准的网络和认证协议(如telnet，ssh，rsh等)，不需要系统运行独立的代理进程，不增加系统的任何负担，同时增加了系统的安全和稳定性。MultiTerm的安装应用非常简便，因为被管理节点不需要运行任何进程，所以无需安装该软件，只要在系统控制台上安装MultiTerm，就可以进行机群管理工作。

MultiTerm 可以使机群多个节点同时运行一个程序，各个节点上的任务是同时分担的，它们之间没有前后时序的关系，任务完全并行处理，实现效率最大化。例如，利用MultiTerm同时在100个结点上运行同一个大型计算，只要这些节点的配置相同，那么这100个节点的运行过程基本上是同时开始、同时结束的。

MultiTerm 较为突出的特色是简单易学、便于操作，管理员无需学习新的技能，只要具有基本的知识，即可以充分的利用MultiTerm的特性完成机群管理的任务。MultiTerm的界面设计简洁直观，同时给予管理员充分的信息表述，使其可以随时得知工作的运行情况。管理员还可以利用快捷键方便地切换操作和监控对象。

MultiTerm 是和曙光机群管理系统DCMS结合使用的，它们互为补充，使得机群的管理工作更简单，更快捷。

 

曙光机群部署系统DCIS

Dawning Cluster Install System

DCIS 是一套用来在机群系统中大规模并行安装节点操作系统，管理和恢复节点备份的应用软件，使机群系统的软件安装可以同时进行，大大地简化了管理员对机群系统的基本操作。

DCIS 为图形化界面，操作简单明了，安装过程中不需要用户手动干预；它支持被安装节点从软盘、光盘、网络等多种启动介质启动；系统安装完毕之后，可根据用户的预先设定而自动分配IP，自行完成网络配置，还能够自动适应海量存储硬盘。

 

曙光负载平衡系统 Power Router

Power Router 实现了机群单一系统映象（Single System Image）技术，它为整体机群系统设置一个虚拟的IP，屏蔽了其后庞大的网络机群，还起到监控系统和负载平衡的作用。PowerRouter将系统中所有的资源组织成一个统一的整体，使用户的访问只针对唯一入口，人们感受不到各独立节点服务器的存在，机群内部各节点的任务都来源于PowerRouter 的分派。PowerRouter 能够明了系统内部各节点的状态，并实现适当的负载平衡机制，使机群系统运行能够具有很高的性能。

 

曙光机群作业调度系统（PWS）

PWS （Partitioned Workload System）是一个批作业和计算机系统资源管理包。它按照兼容POSIX 1003.2d批作业环境标准设计的。因此，它能够接受批作业，并且保留和保护这个作业直到这个作业进入运行状态，最后返回作业的输出结果给提交者。（批作业是由一个shell脚本和控制信息组成）

PWS 来源于由NASA开发的OpenPBS，在OpenPBS的基础上对可扩展性和可管理性进行了扩展。在系统规模上PWS从OpenPBS三百作业的节点规模扩展到六百个节点以上。PWS独特的分区管理技术增加了系统的可管理性，通过各个分区独立调度增加了调度的灵活性、调度需求的多样性和加强的权限控制，并且通过租借节点的特性，起到分区间负载平衡的作用。

PWS 除了提供基本的作业管理系统的功能如作业管理、作业调度、资源分配，还提供了对节点资源的监控，调度器状态的查询等功能。

PWS 可以安装和配置并支持作业运行在一个单个计算机系统上，也可以安装在由多个计算机系统上。由于PWS的灵活性和PWS的分区管理功能，这些计算机系统可以用多种方式组合。

 

PHOENIX

机群操作系统内核phoenix是设计和实现大规模机群操作系统的核心模块和关键功能模块，并可在此基础上构造机群操作系统的各个子系统以及机群意识的应用。Phoenix系统将高可用和系统的可扩展性作为优先需要解决的目标，通过引入物理分区的概念，在软件的总体结构上解决软件的可扩展性问题，提供物理分区层次的服务接口，简化上层系统的开发，控制机群软件的开发复杂程度，提高系统整体的稳定性和健壮性。Phoenix系统通过引入实时事件管理，以事件驱动的方式为机群提供灵活而高效的中枢和联系纽带，以避免分布式回调带来的紧耦合限制。Phoenix系统强调在物理分区层次为上层子系统提供统一的信息访问接口和服务接口并强调系统的包容性。 Phoenix系统的主要功能包括：机群节点死活与网络连通度探测、组服务、实时事件管理、系统资源状况侦测、系统应用状况侦测、数据公告服务、HA触发器服务、配置服务。

 

GodEye-HIDS 曙光 主机入侵检测系统     

曙光GodEye-HIDS主机入侵检测系统是基于主机的分布式入侵检测系统。能够防范对系统文件的恶意篡改和误操作，实时监视可疑连接、定期检查系统日志，扫描用户行为，发现非法访问的闯入等，并且提供对典型应用的保护，如Web服务器、SMTP、POP3服务器等等，GodEye-HIDS能够发现多达1200种网络攻击、误操作以及可疑事件，并实现了和其他网络安全设备的联动，有效地实现对服务器系统的信息安全防护。另一方面，系统提供了强大的统计分析工具，以利于管理员发现更为隐蔽的攻击行为。

曙光GodEye-HIDS是首个通过公安部增强级产品认证的主机型IDS产品，不但从整体上提升入侵检测系统的性能水准，而且能够很大程度上满足用户实际需求，提高信息网络 系统的可管理性、好用性、高可用性，符合曙光一贯倡导的“SUMA”标准。

DHA 曙光高可用软件 (Dawning High Available Software)

曙光高可用软件（DHA）是一种纯软件的机群高可用解决方案，以曙光服务器为硬件基础，使得关键的业务处理能高效连续的进行，当灾难发生时实现服务的无缝切换

曙光双机高可用方案可以应用在几乎所有曙光服务器上，支持目前主流的Linux服务器操作系统，支持主流的数据库和应用软件，操作方便，性能可靠。同时安装在两台主机上的高可用软件，监控系统的状态，协调两台主机的工作，保证系统的可用性。它能侦测到硬件、系统应用软件的故障，及时进行恢复，防止因不可预料的意外因素或不可避免的计划性停机造成的系统停止运行，以较低的成本为用户提供高可用的信息处理平台。