继Lustre和GPFS之后，HPC又迎来那个新文件系统接盘？

      文件系统从来都没成为IT领域中最闪光的那部分，这或许可以解释在大型变革和新进入该领域的人，为什么没有注意到它。但在HPC领域，情况可能有所不同(点击阅读: 从高性能计算(HPC)技术演变解析方案、生态和行业发展趋势)。

      HPC供应商主要基于GPFS或Lustre的产品提供HPC解决方案，而且企业和HPC组织已经接受了这些产品。然而，近年来IT环境的变化已经说服一些公司和供应商重新考虑文件系统。诸如大规模分析和机器学习的兴起，HPC向主流企业应用的扩张以及云存储的发展等都给文件服务器带来了新的挑战，使得这些文件服务器变得日益复杂和难以管理。

      并行文件系统的业务环境变化也更加关注GPFS和Lustre。特别是英特尔在2017年4月停止了销售Lustre企业版本的维护和发行，这样一个备受瞩目的Lustre支持者的决定引发了大众对Lustre未来的质疑。

 

      与此同时，又有一个平行文件系统BeeGFS兴起，其目标就是HPC领域。2005年，德国Fraunhofer高性能计算中心在该机构的一个计算机集群内部开始实施，该技术开始迅速攀升，2007年第一个测试版发布，一年后正式版首次发布。并在2009年商业化。在2014年，Fraunhofer拆出一家新公司ThinkParQ，以扩大其在HPC商业市场的覆盖面。最初被称为FhGFS的文件系统被命名为BeeGFS。

 

      ThinkParQ的目标是为各种规模的组织提供开放源代码和免费软件Bee GFS，并提供从支持、咨询到系统集成商的合作伙伴关系等服务，开发包括BeeGFS在内的解决方案。并行文件系统软件的大部分开发仍在Fraunhofer中进行开发。

      在2017年，ThinkParQ和BeeGFS开发人员在多个领域取得了进展，包括与集群管理软件制造商Bright Computing，HPC解决方案提供商Penguin  Computing以及硬件制造商Ace Computers和QuantaCloud Computing等公司扩大合作关系，扩展到欧洲以外的俄罗斯和日本等地区，并在SC17超级计算展会上发布的BeeGFS v7.0版本，包括新的存储池设计，SSD和HDD混合磁盘支持，数据存放策略控制。

      在日本，富士通宣布其即将推出的人工智能桥接云基础架构(ABCI)超级计算机将使用BeeGFS onDemand(BeeOND)实现加速，类似于HewlettPackard Enterprise上线的Tsubame3.0系统。据ThinkParQ称，该系统在计算节点采用1PB  NVMe高速缓冲BeeOND，可实现1TB/s性能。

      根据ThinkParQ首席执行官和BeeGFS首席执行官Sven Bruener的介绍，该公司对BeeGFS的兴趣有所增加，其中主要原因是BeeGFS对市场需求满足以及对Lustre及其未来发展的担忧。BeeGFS帮助公司在一个市场中获得竞争力，而这些市场竞争来源于提供经过市场考验的并行文件系统产品的知名供应商。

      Intel放弃其Lustre商业化努力的决定导致合作伙伴将BeeGFS用于Lustre替代计划，因为与Lustre不同，BeeGFS起源于HPC世界。当大家使用BeeGFS时，他们得到的东西并非依靠Intel针对大量功能进行了优化，而主要是针对性能，这对许多用户而言非常重要。

      由于性能问题和底层体系结构，各种组织倾向于使用BeeGFS替代GPFS和Lustre系统的，他们注意到从一开始，他们的文件系统表现相当好，但过了一段时间其表现就不再那么好了。BeeGFS更易于使用并且需要更少的维护。大多数用户实际上是从Lustre和GPFS等其他系统切换出来的，因为他们遇到了各方面的问题，然后他们开始尝试其他系统，然而在尝试的过程中，他们对BeeGFS开箱即用设置的容易程度和性能感到惊讶。 

      根据ThinkParQ全球销售咨询总监的说法，可扩展性也是BeeGFS一个差异化因素，BeeGFS的灵活性很好，以至于真的可以从两台服务器开始即时添加组件扩展。它可以与Panasas的PanFS文件系统进行比较，就连IBM这样的供应商也认可BeeGFS的市场表现。

      IBM认为他们可以通过添加BeeGFS来销售更多的服务器硬件和存储控制器，因为GPFS相对来说非常复杂并且可能更昂贵。对于解决方案来，BeeGFS在各种环境下的体现出很好的灵活性。通过BeeGFS，可以使用较少的组件构建小规模系统，但如果系统需要增长，则只需按容量或性能要求添加组件即可(BeeGFS可以扩展到ExaByte规模)，没有技术限制。

 

      虽然BeeGFS用户主要集中在欧洲，但ThinkParQ在其他地区如俄罗斯、美国和日本也在迅速增长，像Oak Ridge这样的国家实验室大约有二十个多个。ThinkParQ拥有部署容量约在10PB范围的客户也遍布多个行业，包括生物信息学领域，维也纳大学等，拥有数千个部署节点。

      当BeeGFS出现时，其他大型厂商正在支持其他老牌文件系统(如Lustre、GPFS、StorNext等)，一些开发自己的文件系统的公司正在努力增长，实际上，BeeGFS可以满足不断变化的市场需求。

      纵观历史，GPFS将在25年前就已经出现，并更关注于数据管理。而Lustre在17年前作为一个试验性项目开发出来。15年前，固态硬盘尚不存在，他们也不知道未来的存储环境会有什么样的需求。如今，BeeGFS开发人员了解了这些限制，他们也看到了市场的动向和市场的需求，他们的客户确实需要独立于硬件的软件解决方案，从而充分利用组件的全部优势，通过易用性简化运维管理，无需专业人员。

 

      BeeGFS系统背后的魔力在于它坐落在本地文件系统之上的Linux系统的用户空间中，这使得它非常非常灵活，因为通常如果您要设置HPC环境，需要一个专用的元数据服务器、存储服务器组件。然而BeeGFS具有很好的灵活性，可以将BeeGFS组件安装连接到存储节点，也可以设置文件系统实例。HPC非常流行的BurstBuffer技术，在BeeGFS称之为BeeGFS on Demand，它有效缓解现有HPC环境中令人讨厌的浪涌IO模式，通过闪存介质保障系统在任何时候的性能要求。

      实际上，Bright Computing已经与BeeGFS合作了几年了，努力如何简单在Bright集群之上部署这个BeeGFS，并在健康检查BeeGFS和监测BeeGFS方面做出更多努力。实际上，Bright是可以集成GPFS和Lustre并行文件系统使用，在Bright Computing看来，他们对GPFS，Lustre和BeeGFS都有丰富经验，但发现BeeGFS是最轻量的，即使没有与BeeGFS集成，也不像Lustre和GPFS那么难以安装部署。

      今天分享到此为止，关于BeeGFS文件系统架构、技术和生态分析文章，请大家搜索历史文章查阅。此外，前期详细分享过整个<从高性能计算(HPC)技术演变解析方案、生态和行业发展趋势>分析，并整理成电子书，请大家点击底部“原文链接”查阅详情。

强相关阅读

• 从高性能计算(HPC)技术演变解析方案、生态和行业发展趋势

温馨提示：
请搜索“ICT_Architect”或“扫一扫”二维码关注公众号，点击原文链接获取更多技术资料。

求知若渴, 虚心若愚—Stay hungry, Stay foolish