使用 Amazon FSx 在云端进行网络连接存储

关键字: [Amazon Web Services re:Invent 2023, Amazon FSx, Network Attached Storage, Amazon Fsx, File Storage Migration, Netapp Ontap, Windows File Server]

本文字数: 1700, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1Zi4y1a7LH

导读

在不影响性能或可用性的情况下将基于文件的工作负载迁移上云，是一项挑战。Amazon FSx 系列可以解决这一网络连接存储 (NAS) 挑战，作为一项完全托管的服务，它提供了共享存储、数据恢复能力和管理兼容性，而无需更改应用程序或代码。在本论坛中，通过媒体和娱乐、教育、医疗保健和生命科学以及电信客户的使用案例，从行业专家那里了解如何提高灵活性、降低成本和自动扩展。通过本论坛，您将有信心制定自己的迁移计划。

演讲精华

以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

大卫·斯坦（David Stein）来自亚马逊云科技，与普拉尚特·布莱（Prashant Bli）共同探讨了在云端运用亚马逊FSx实现网络附加存储（NAS）的话题。他们首先强调，在当今社会，创新的实现严重依赖于数据。各种应用场景推动了组织以前所未有的速度增加数据量。根据IDC的数据，2022年仅新增的新数据就超过了100泽字节，预计到了2026年，这一数字将翻倍，达到200泽字节以上。

这种增长主要受到对非结构化数据需求的不断增长驱动，这在媒体、图像、视频以及AI/ML采用等用例中尤为明显。此外，模拟和虚拟环境的广泛应用，以及物联网传感器和其他数据生成设备的普及，也在推动着数据的快速增加。

考虑到这些因素，文件存储的需求加速也就不足为奇了。文件存储拥有超过50年的丰富历史，具有成熟的先进堆栈，易于理解。开发者可以轻易地将标准接口集成到应用程序中。文件系统还支持适当的权限级别和共享功能，使多个用户和应用程序能够安全地访问数据。这使得文件数据成为简单共享的平台，数十到数千个用户和应用程序都可以利用其优势。此外，高性能也是文件存储的关键特点，即使在大批用户和应用程序同时访问文件时，也能提供接近本地的延迟。

斯坦随后介绍了他们在亚马逊云科技中观察到的一些传统文件存储用例，包括企业IT场景、用户共享和团队协作、媒体和娱乐工作负载、机器学习（ML）和AI模型的训练、验证和部署，以及对简单高效的文件存储有要求的在云中新应用。

共享二进制文件、日志和缓存的的软件构建、持续集成和测试环境的软件构建、持续集成和测试环境。

• 为了满足文件服务器、数据库和其他系统的RPO/RTO目标的备份和灾难恢复策略。

• 数据科学和分析工作流程在计算集群之间共享中间结果的计算集群之间的数据共享。

• 保持开发、测试和生产环境一致的DevOps平台。

尽管其中一些文件原本就是在云端生成的，但大多数客户仍然拥有现场文件服务器，他们希望迁移到亚马逊云科技以利用其增加的灵活性、弹性、可扩展性和创新功能。然而，由于每个供应商的解决方案具有独特的数据访问协议、性能特征和管理API，因此将网络附属存储（NAS）工作负载迁移可能需要数周或数月的时间。这需要进行大量的前期规划，可能需要进行重新架构、培训，以及停机时间。

为了简化迁移过程，亚马逊云科技在2018年推出了Amazon FSx服务。FSx提供完全托管的第三方文件系统，客户可以像使用现有的企业级文件系统一样使用它们，从而在不引起干扰的情况下将“抬升和切换”迁移到亚马逊云科技。现在的文件系统选项包括：

• FSx for NetApp ONTAP - 广泛使用的企业级网络附加存储设备

• FSx for Windows File Server - 原生Windows/SMB体验

• FSx for OpenZFS - 企业级开源NFS

• FSx for Lustre - 针对高性能计算优化的并行文件系统

FSx的优势在于消除了采购、管理、升级和扩展基础设施的开销。客户只需指定所需的容量、性能、协议和高可用性需求，而亚马逊云科技将负责计算、存储、网络、备份、安全、冗余等方面的供应和管理。这些文件系统的外观与在现场时相同，无需重新设计架构、重新培训或不必要地迁移数据。

Stein提供了一些澳大利亚客户使用FSx进行无缝迁移的例子：

• John Holland Group 在停电后仅48小时内将其90个业务关键应用程序迁移到FSx for Windows，比在项目现场重建快10倍。

• NSW健康部门将1.3 PB的医疗影像数据迁移到FSx for NetApp，实现了10倍的性能提升，同时节省了1600万美元的运营成本。

普拉尚特·布莱恩特随后详细阐述了亚马逊FSx的优势及其一些最新创新。他强调了通过运用亚马逊最新的云计算技术，如Graviton处理器和Nitro，实现卓越性能和规模提升的可能性。例如，在去年的re:Invent上，FSx for ONTAP和FSx for OpenZFS的SSD吞吐量和IOPS翻倍。2022年8月，FSx支持NVMe缓存。在亚马逊云科技存储日活动上，FSx for Windows的吞吐量提高了六倍，IOPS增加了五倍，同时还具备了独立的IOPS和存储扩展能力。最近，FSx for ONTAP引入了扩展功能，将每个文件系统的吞吐量提高到8-9倍，达到36GB/s，并将存储容量提高5倍，达到1PB。

这种持续的创新使得最苛刻、对延迟敏感的文件工作负载也能在FSx上顺畅运行。例如，医疗保健提供商Change Healthcare在FSx for Windows上部署了数百个SQL Server数据库，实现了从SAN到FSx共享存储切换后所需的持续高IOPS，同时节省了300万美元的许可费用。

FSx提供了多种成本优化选项，如存储介质类型（SSD vs HDD）、部署架构（单AZ或多AZ）、完全弹性的备份存储以及独立扩展存储和吞吐量的能力。例如，FSx for NetApp ONTAP提供从高性能SSD到低成本S3对象存储的自动分层。将原生文件系统压缩与FSx分层结合使用可以降低成本80%以上，使总成本降至约每GB/月3美分。

在自动化方面，FSx支持使用亚马逊云科技CloudFormation进行基础设施即代码部署。这允许组织标准化存储供应并实施自助服务工作流程。布莱因分享了一个例子，澳大利亚的SaaS提供商TechnologyOne有数千个单一租户客户数据库环境。通过使用FSx，他们实现了全球一致的、可扩展的存储平台，具有全面的访问控制。

FSx还与亚马逊云科技的其他服务（如安全、分析、日志处理等）深度集成。例如，FSx for Windows File Server可以将文件访问审计日志发送到CloudWatch和Kinesis。这解锁了基于文件活动监控、分析和触发操作的新能力。

毕伦（Bli）回顾了过去一年中FSx的一些重要发布，包括针对NetApp ONTAP的FSx横向扩展功能和针对OpenZFS的按需数据复制。

这时，斯坦邀请了菲利普斯66公司的泰勒·萨维奇分享他们如何将文件存储迁移到亚马逊云科技的经验。萨维奇解释道，他们已经实施了一个多年的计划，以实现云计算优先的组织结构。借助FSx for NetApp ONTAP，他们能够在不重新配置平台或进行培训的情况下，将其内部的ONTAP工作负载“抬升并转移”至云端。他们使用SnapMirror复制技术将数十TB的灾难恢复基础设施从内部数据中心迁移到FSx，从而消除了对辅助DR站点的依赖和硬件需求。

当菲利普斯66公司在收购另一家公司时，他们在仅一周的时间内通过镜像和切换DNS迅速将132 TB的NetApp文件数据迁移到FSx。萨维奇提到了一些优势，如成本的大幅降低、更易管理的升级以及容量分层等功能的使用。他们的下一个项目是利用FSx在亚马逊云科技的VMware云环境中提供存储服务。

总的来说，亚马逊FSx使得客户能够不中断地将其内部的NAS文件工作负载轻松迁移到亚马逊云科技，同时解锁云计算的规模和优势。这消除了对基础设施管理的开销，同时提高了性能、可扩展性并充分利用了其他亚马逊云科技服务。像菲利普斯66公司这样的客户在将文件存储迁移到FSx作为其云之旅的一部分后，已经看到了显著的好处。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技的领导者们将探讨如何将文件存储迁移至Amazon FSX。

作为全球领先的云计算服务商，亚马逊云科技为客户提供多样化的文件存储解决方案，以满足各种应用场景和行业的需求。

在存储环境方面，领导者们将讨论如何在保持弹性、安全性和成本优化方面的挑战。

他们强调亚马逊云科技如何通过提供完全管理的文件服务，为客户节省时间和成本，从而简化云迁移过程。

亚马逊云科技团队曾帮助约翰·霍兰德集团从自管理的EC2文件存储成功迁移至FSX，并在停电后的48小时内恢复了业务关键应用程序。

这充分展示了亚马逊云科技在计算、存储、磁盘和网络领域的前沿技术在成熟文件系统上的卓越性能和规模。

此外，亚马逊云科技在今年夏天支持了SnapLock项目，帮助企业通过创建不可变对象来满足合规需求。

总结

菲利普斯66是一家能源公司，近年来一直致力于将工作负载迁移至亚马逊云科技。他们高度依赖NetApp存储，起初在亚马逊云科技中采用NetApp Cloud Volumes ONTAP (CVO) 以实现平滑迁移。然而，CVO在许可、存储扩展和升级方面存在一些挑战。

随着Amazon FSx for NetApp ONTAP的出现，它为菲利普斯66提供了一种更简单便捷的迁移途径。因为FSx for ONTAP使用了菲利普斯66在内部所使用的相同ONTAP操作系统。此外，FSx for ONTAP还是完全管理的，从而消除了补丁、升级和存储扩展方面的开销。

菲利普斯66已经将多个工作负载迁移到了FSx for ONTAP上，其中包括：

• 灾难恢复环境：他们能够通过重新指向数据存储区来轻松地将内部的快照镜像复制转移到FSx for ONTAP，从而消除了对辅助DR基础设施的需求。

• 收购公司的数据中心：大约一周内，将来自NetApp系统的132 TB的数据复制到FSx for ONTAP。周末完成了切换，没有中断。这使迁移速度快且数据中心的停用迅速。

• 研发中心存储：大约一小时内迁移了330,000个文件以解决访问问题。展示了FSx的快速迁移能力。

迁移到FSx for ONTAP后的主要优势包括：

• 与CVO相比，节省了约80%的成本。

• 通过更改下拉菜单而不是复杂的内部升级，轻松扩展容量。

• 完全管理补丁和升级。

• 利用容量分层进行成本优化和数据生命周期管理。

未来的计划包括使用FSx for ONTAP为VMware Cloud工作负载提供共享存储。还在寻找利用SnapLock等数据安全功能的方法。

演讲原文

https://blog.csdn.net/just2gooo/article/details/135120469

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键查看 re:Invent 2023 所有热门发布

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。