网格开发人员：值得关注的组织和项目

网格开发人员：值得关注的组织和项目

级别： 初级

Edna Nerona ([email protected]), 顾问, Legacy Studios, Inc.

2007 年 8 月 09 日

之前，我们向您提供了一份 “网格开发人员推荐阅读清单” 和 “面向网格开发人员的入门级开源工具”。现在我们又编著了一份代表网格计算未来发展的产品项目和组织清单。本文提供了在目前在不同领域（例如癌症研究、天文学和物理学）中开展的项目的详细清单。本文还介绍了工具包、安全性和数据管理。它们都是从各种在线资源获得，向程序员、管理员和新用户介绍了与使用、部署和开发网格基础设施有关的具体信息和项目。

开发网格的组织

本节将介绍开发网格产品的组织，它们所解决的问题，以及它们是如何影响网格技术的。网格部署产品可以划分为几类：通用网格、科学和社区网格、国家网格、地区网格和大学网格。

国家和国际通用网格

Distributed European Infrastructure for Supercomputing Applications

作为一个领导国家超级计算中心的协会，DEISA（Distributed European Infrastructure for Supercomputing Applications）部署并操作了一个具有安全产品质量的分布式超级计算环境。通过增强欧洲在高性能计算方面的能力，该研究组织促进了各种科学和技术领域中的科学发现。DEISA 对现有国家高端平台进行了高度集成，使用了专用的网络，并获得了新型系统和网格软件的支持。

DutchGrid

成立于 2000 年，DutchGrid 拥有很多成功的研究成果和计划，跨越多个科学协作领域。作为一个学术和研究网格计算的开放平台，DutchGrid 为荷兰的网格用户提供了可全球识别的身份证书。DutchGrid CA 是一个完全中立的项目。任何非盈利的研究人员和学术界用户都可以获得个人和服务器或主机证书来使用网格应用程序。

Enabling Grids for E-science

Enabling Grids for E-science （EGEE）项目将来自 32 个国家的 90 多个机构的科学家和工程师组织在一起，为科学家使用的电子科学（e-scinece）提供了一个无缝的网格基础设施。EGEE 网格包含了超过 30,000 个 CPU，它们可以一周 7 天、每天 24 小时地使用，另外还提供了大约 5 PB（5 百万个 GB）的存储空间，平均要维护 30,000 个并发作业。拥有如此众多的资源改变了科学研究所采用的方法。EGEE 是由欧盟建立的一个为期 4 年的项目。

Grid5000

Grid5000 项目的目标是建立一个高度可配置的具有可控性并可监视的实验网格平台，网格研究人员可以使用它来试验从网络协议层到应用程序层之间的所有软件。Grid5000 将法国地理上分布的 9 个城市连接在一起，提供了 5,000 个 CPU。这 9 个城市包括：Bordeaux、 Grenoble、 Lille、 Lyon、 Nancy、 Orsay、 Rennes、 Sophia-Antipolis 和 Toulouse。

LA Grid

LA Grid 的发音是 “lah grid”，它是第一个全面的计算网格，将来自美国、拉美和西班牙各个机构的职员、学生和研究人员联系在一起，协作开发可满足医疗服务行业内商业和社会需求的复杂行业应用程序。除了大学之外，LA Grid 还吸引了全球工业界的参与，从而增强了在很多领域内的创新，包括卫生保健、生命科学和飓风灾难以及灾难防御。

Open Science Grid

Open Science Grid （OSG）是科学研究使用的一个分布式计算基础设施。OSG 联盟是惟一一个由各大学、国家实验室、科学协作组织和软件开发人员将海量计算和存储资源组成一个共享的统一网络基础设施的联盟。

TeraGrid

TeraGrid 是由 National Science Foundation 创建的一个开放科学研究基础组织。将 9 个合作站点的业界领先的资源组合起来，TeraGrid 创建了一个集成的持久计算资源。通过采用国家专用网络的一条高速千兆网络彼此连接，TeraGrid 提供了超过 150 teraflops 的计算能力、以及接近 2 PB 的循环存储空间、无数的科学数据集、专用的数据分析工具、科学网关、以及用来简化对有价值资源和可视化资源访问的用户门户。

科学和社区网格

AstroGrid

AstroGrid 是一个开源项目，它的建立是为英国和国际天文学家创建一个工作用的虚拟天文台（Virtual Observatory，VO）。AstroGrid 是由英国政府建立，它通过 International Virtual Observatory Alliance （IVOA）与国际上其他 VO 项目紧密协作。作为这个社区的领导成员之一，AstroGrid 提供了国际通用的接口标准，用来促进天文数据的科学集成，并在全球范围内处理资源。

cancer Biomedical Informatics Grid

cancer Biomedical Informatics Grid （caBIG）是一个自发组织的网络或网格，它将个人和机构联系在一起，可以共享很多数据和工具，它创建了一个全球范围的癌症研究资源。caBIG 的目标是为了加速癌症预防和治疗方面的创新方法的迅速问世。caBIG 所创建的基础设施和工具在癌症社区之外也有很广泛的应用。caBIG 目前正在 National Cancer Institute 的 Center for Bioinformatics 的领导下进行开发。

International Virtual Data Grid Laboratory

International Virtual Data Grid Laboratory （iVDGL）是一个全球的数据网格，用于物理和天文领域的前沿实验。它的计算、存储和网络资源分布于美国、欧洲、亚洲和南美，提供了一个独特的实验环境，可用来测试和验证国际的和全球范围的网格技术。位于欧洲和美国的站点通过一个由 European DataTAG 项目创建的数千兆每秒的跨越大西洋的链接链接在一起。

World Community Grid

World Community Grid 的使命是创建全世界最大的公共计算网格，研究对人类有益的项目。World Community Grid 的成功在于：集合了个体为实现更美好的世界而贡献出的未用的计算时间。World Community Grid 正在研究一些公共和非盈利组织才能使用的技术，从而开展一些人道主义研究；如果没有公共网格，高昂的计算基础设施将使研究无法完成。

Worldwide Large Hadron Collider Computing Grid

Worldwide Large Hadron Collider（LHC）Computing Grid 的目的是处理 2007 年前 CERN 的 LHC 所开展的实验所产生的空前数据量。LHC 开展的实验的计算需求极为庞大。每年大概会生成 12 到 14 PB 的数据，这大约相当于 2 千万张 CD。对这些数据进行分析大约需要 70,000 台目前最快的 PC。通过部署一个全球范围的计算网格，将分布在欧洲、美国和亚洲的科学计算中心的资源集成到一个全球虚拟化计算服务中，LHC Computing Grid 可以满足这些需求。

回页首

美国地区的网格

Northwest Indiana Computational Grid

Northwest Indiana Computational Grid（NWICG）是来自 Purdue University-West Lafayette、 Purdue University-Calumet 和 University of Notre Dame 的合作研究和教育组织。NWICG 重点关注的是国家科学和研究活动，其创建的网络基础设施可以支持重大问题的解决方案，以及在高性能计算底层技术领域启用保持世界领先的技术。它们正在 Department of Energy's Argonne National Laboratories 的协助下，在这 3 个大学之间为 Northwest Indiana 开发一个可扩充的高速、高带宽的科学驱动计算网格。

SURAGrid

Southeastern Universities Research Association（SURA）是一个组织协作联盟，它合并各种资源以将网格技术上升到无缝的共享基础设施。SURAgrid 着重关注的是对大量分布式能力的直接访问，从而用于研究和教育社区。SURAgrid 促进了以下领域的开发：所贡献的资源、项目特有的工具和环境、高度专门化访问、通往国家和国际的网络基础设施网关。

Texas Internet Grid for Research and Education

Texas Internet Grid for Research and Education （TIGRE）项目的使命是将整个得克萨斯州的计算系统、存储系统、数据库、可视化实验和显示以及仪器和传感设备整合在一起，创建一个计算网格。通过集成强大的计算能力，为得克萨斯州在学术、政府以及工业界的研究人员提供增强的计算能力，TIGRE 希望能够对生物医学、能源和环境、航空宇宙、材料科学、农业和信息技术的进步提供帮助。

回页首

开源网格项目

这些网格项目覆盖了很多领域，包括网格基础设施工具包、中间件工具包、数据工具、安全等。下面给出了一些迅速发展的网格项目和工具。经常访问这些站点可以了解有关它们领导网格技术不断发展的最新消息。

网格基础设施项目

帮助建立自己网格的开源网格基础设施项目。

Berkeley Open Infrastructure for Network Computing

Berkeley Open Infrastructure for Network Computing （BOINC）是项目使用的一个软件平台，例如 distributed.net 和 SETI@home，它使用了数百万台志愿者计算机组成一个并行的超级计算机。可以获得该平台的源代码，并且鼓励感兴趣的 C++ 开发人员帮助开发平台代码。BOINC 目前可以支持 Windows®、Linux®、UNIX® 和 Mac OS X。 CPU 平台的需求可能在使用 BOINC 的项目客户机之间会有所不同。

Uniform Interface to Computing Resources

Uniform Interface to Computing Resources（UNICORE）提供了一个可随时运行的网格系统，包括客户机和服务器软件。UNICORE 让分布的计算和数据资源在内部网和互联网上以一种无缝的安全方式使用。UNICORE 设计的重点是几个核心原则：无缝访问异构环境、安全性、站点自治、易于使用的强大的 GUI 客户机，以及可以进行简单安装的快速启动包。

网格中间件项目

以下项目已经为美国和国际项目提供了一些高级工具，可以简化访问大量网格功能，例如计算、可视化和存储资源。您可以与不同的网格进行交互，或者为自己的网格进行定制。

gLite

gLite 是网格计算使用的下一代中间件，它诞生于 12 个学术机构和行业研究中心的 80 多个工作人员的联合努力，是 EGEE 项目的一部分。gLite 充分利用分布在 Internet 上的计算和存储资源，为构建网格应用程序提供了一个最佳框架。

National Research Grid Initiative

National Research Grid Initiative（NAREGI）位于日本，它着重于网格中间件的研究和开发，为广泛分布的、高级研究和教育目的实现大规模的计算环境。

Ninf-G

Ninf 也是日本的一个项目，正在开发编程中间件，使用户能够通过一个简单易用的接口来访问各种资源，例如网格中的硬件、软件和科学数据。Ninf-G 是一个开源软件，支持开发和执行分布式计算资源中使用 Grid Remote Procedure Call（GridRPC）的启用网格的应用程序。

NorduGrid

NorduGrid 中间件，也称为 Advanced Resource Connector（ARC），是一个按照 GPL 许可发布的开源软件解决方案，可以实现保证产品质量的计算和数据网格。ARC 为基本网格服务提供了一个可靠实现，例如信息服务、资源查找和监视、作业提交和管理、代理和数据管理，以及资源管理。大部分服务都是通过 GSI 的安全层提供的。中间件是在诸如 OpenLDAP、OpenSSL、SASL 和 Globus Toolkit（GT）之类的开源解决方案基础上构建的。

OGSA-DAI

OGSA-DAI 项目着重关注的是中间件的开发，从而有助于对网格中不同来源的数据进行访问和集成。这个项目与 Globus、OMII-Europe、NextGRID、SIMDAT 和 BEinGRID 紧密协作，确保 OGSA-DAI 软件可以在各种网格环境中很好地工作。

ProActive

ProActive 是 Java™ 网格中间件库（其开源代码具有 LGPL 许可），可用于进行并行、分布式和多线程计算。通过采用一个简单元语的精简集，ProActive 提供了一个详尽的 API 来简化网格计算应用程序的编程，这些程序均分布在 LAN、工作站集群和 Internet 网格中。

安全项目

为了保护重要的基础设施和信息，安全性需求一直以来都随网格计算的发展而演变。这些项目代表了一些网格安全解决方案的一些最先进的安全标准和实现。

GridShib

GridShib 是在 NCSA 和 University of Chicago 之间开展的由 NFS 创建的项目，用来将联合授权基础设施（Shibboleth）与网格技术（Globus Toolkit）进行集成，从而为分布的科学社区提供基于属性的授权。

Grid User Management System

Grid User Management System（GUMS）是一个网格身份映射服务（Grid Identity Mapping Service）。当站点资源不使用本地网格凭证，而是使用一种不同的机制来标识用户时（例如 UNIX 帐号或 Kerberos 准则），就需要使用身份映射。

PRIvilege Management and Authorization

PRIvilege Management and Authorization（PRIMA）是一个提供增强的网格安全的系统。PRIMA 是一个全面的网格安全模型和系统。在 PRIMA 中，特权是一种与平台无关的、细粒度权限的自包含表示。PRIMA 通过从资源内部表示来具体化对资源对象的细粒度访问权限实现了特权的平台无关性。

资源管理和调度

网格的一个基本部分就是在资源之间管理和调度作业。下面这些项目展示了有关的一些策略。

Community Scheduler Framework

Community Scheduler Framework（CSF）是一个基于 OGSA 的元调度器的开源实现。它可以支持最新的 WS-Agreement 规范和 Globus Toolkit 的 GRAM 服务。CSF 填补了现有资源管理现状的不足，并集成了 Platform LSF 和 Platform Multicluster。CSF 开源项目已经包括到了 Globus Toolkit V4.0 发行版中。

Special Priority and Urgent Computing Environment

高性能建模和仿真在决策制定和预测方面起到了推动作用。对于时间关键型的应急应用程序，例如灾害天气预报、洪水建模、流感建模，任何延时会使结果变得毫无用处。这需要使用专用的基础设施快速、自动而且可靠地提供计算资源。Special Priority and Urgent Computing Environment（SPRUCE）是一个用来在传统超级计算机和分布式网格上支持紧急或事件驱动计算的系统。

网格资源监视

对资源和应用程序的监视是网格成功的关键。通过一个简单易用的接口，这些复杂工具可以帮助用户搜集、分类和监视各种类型的资源。另外，系统管理员还可以监视网格的健康状况。这些不断发展的网格项目列出了几个开源选择。

GridCat

GridCat 是一个在地理图上使用状态点以及编目的高级网格编目系统。这个图可以帮助调试站点问题。编目中包含了有关站点的准备信息，以及每个站点的很多其他有价值的信息，帮助应用程序用户和网格调度器开发人员进行作业提交和作业调度。GridCat 尝试在其最简单的状态表示中表示网格站点。

Gridscape II

Gridscape II 是一个定制的门户组件，可以在其自身的网格门户中使用，也可以插入到现有网格门户中。Gridscape II 负责从各种异构和分布式资源中搜集信息，并在单个界面中无缝地将它们呈现出来。它充分利用了 Google Maps API 来提供一个高交互性的用户界面。Gridscape II 非常简单易用，为那些不希望大量投资以从头开始开发自己的监视门户的用户提供了一个解决方案，也为那些希望简化定制内容的用户提供了一种解决方案。

存储和数据管理

从开源高性能文件系统到无缝地访问异构环境中的数据，以下项目集合了各种存储和数据管理解决方案并进行了优化。这种趋势强调的是资源之间的数据存储、管理和移动，以及通过网络对数据资源的连接。

Lustre

Lustre File System，这是一个来自 Cluster File Systems Inc. 的高性能开源文件系统，它是一个分布式文件系统，消除了很多传统分布式文件系统中存在的性能、可用性和可伸缩性问题。Lustre 是一个高度模块化的下一代存储架构，它将现有的开放标准、Linux 操作系统和创新协议组合成一种可靠的、网络中立的数据存储和检索解决方案。通过在集群和数据共享环境中提供高 I/O 吞吐量，Lustre 还提供了与物理存储上的数据位置无关的独立性，防止单点失效，并且可以从集群的重新配置和服务器或网络故障中快速恢复。

NeST

NeST 是一个软件网络存储设备，为特定时间段提供了安全的存储分配。分配单元或份额（lot）的大小和持续时间可以在 NeST 和用户或应用程序之间进行协商。这些份额的大小也可以扩充，时间可以扩展，或者划分成不同的层次。另外，NeST 还为份额和文件访问提供了访问控制列表。NeST 提供了多种协议接口，包括内部使用的 Chirp、HTTP 和 GSI-FTP。

SAMGrid

SAMGrid 是一个通用数据处理系统，它被设计为用来测试大量数据（PB 级）集和广泛分布的产品和分析工具的一个关键设备。当前产品的组件提供了大量的服务，可用于分布式系统中的数据传输、数据存储和进程记录。

UberFTP

UberFTP 是在 GridFTP 基础上构建的，它是第一个启用 GridFTP 的交互式 FTP 客户机。基本的 GridFTP 客户机不是可交互式的，它一次只允许传输一个文件。UberFTP 提供了交互式工具，工作方式与流行的 NCFTP 工具类似。它支持 GSI 认证、并行数据通道以及第三方传输功能。

回页首

结束语

网格计算是最令人兴奋的技术之一，它在很大程度上影响了我们解决复杂问题和共享各种资源的方式。除了癌症和物理学之外，它对于安全和认证、查找、监视、信息服务、数据管理、资源管理和调度也有重大影响。

参考资料

学习

• 您可以参阅本文在 developerWorks 全球网站上的 英文原文。
  
  
• 查看 developerWorks 中的 “网格计算文档库”。
  
  
• 要收听面向软件开发人员的有趣访谈和讨论，请查看 developerWorks podcasts。
  
  
• 随时关注 developerWorks 的 developerWorks 技术活动和网络广播。
  
  
• 了解世界范围内面向 IBM 开源开发人员的即将召开的会议、商业展示、webcasts 和其他 事件。
  
  
• 请访问 developerWorks 中国网站开源软件技术专区，这里有丰富的 how-to 信息、工具和项目更新信息，可以帮助您使用开源技术进行开发，并与 IBM 产品一起使用。
  
  

获得产品和技术

• 请下载 IBM 产品评测版，尝试使用来自 DB2®、Lotus®、Rational®、Tivoli® 和 WebSphere® 的应用程序开发工具和中间件产品。
  
  
• 使用 IBM 试用软件 改进您的下一个开源开发项目，这些软件可以从 developerWorks 下载或从 DVD 获得。

讨论

• 请访问 developerWorks 上的 网格计算论坛。
  
  
• 通过参与 developerWorks blogs，加入 developerWorks 社区。
  
  

关于作者

		Edna Nerona 是 Legacy Studios，Inc. 的所有人，这是一家位于 San Diego 的创新服务公司。她拥有 San Diego State University 的新闻学学士学位，曾经在 San Diego Supercomputer Center 和 Entropia，Inc. 工作过。她还是 Toastmasters International 的一名多才多艺的发言人。

来自: http://www.ibm.com/developerworks/cn/grid/gr-gridorgs/