夯实数据“底座”,AWS完整云存储阵容吹响“集结号”

毋庸置疑,数据已经成为企业驱动数字化转型,持续释放业务价值的重要支撑。回顾企业数据的演进史,从早期的数据报表,到实时互动的仪表盘,到数据仓库,到今天的数据湖。企业拥有生产经营各个环节产生的、产品和服务相关环节背后隐藏的,以及企业利益相关者等方方面面的数据。

当海量数据进入数据湖,用不同的分析引擎在不同的场景下做分析,利用人工智能和机器学习实现业务洞察,数据已然成为企业基础设施的一部分。企业需要快速升级数据基础架构,利用云、大数据分析、人工智能等技术唤醒数字化能力,持续提升生产和工作效率,提升客户体验,进而通过数据驱动业务决策。在新冠疫情的背后,我们不难发现越是数字化的企业,面对突发事件的响应更加快速、更加灵活。

今天的数据越来越多元化,结构化的、非结构化数据需要数据基础设施能够提供完善的存储服务来承载满足不同应用场景的工作负载和数据。

为了进一步夯实云上数据基础设施的“底座”,近日,AWS中国(宁夏)区域(由西云数据运营)和AWS中国(北京)区域(由光环新网运营)正式同步上线了两项全新的文件存储服务:Amazon FSx for Windows File Server和Amazon FSx for Lustre,分别为Windows工作负载提供文件存储服务和高性能计算工作负载提供文件存储服务。

 AWS云存储阵容吹响“集结号”

随着两项文件存储服务的加入,AWS已经在中国区集齐了云存储服务的“全家桶”,正式吹响了AWS完整云存储阵容的“集结号”。

“这两项服务的加入为Windows工作负载和高性能计算工作负载上云打开了一扇门,意味着客户在考虑上云的时候,可以通过更多的路径迁移上云,Windows工作负载和高性能计算工作负载,可以非常快的在云端扩展”,AWS大中华区产品部总经理顾凡说。

云存储是IaaS云基础设施的重要支撑,AWS作为全球云计算市场的领导者,14年前首项云服务就是从存储服务Amazon S3对象存储起步的。多年来,AWS云服务一直占据了Gartner云基础设施即服务魔力象限和IDC的IaaS MarketScape等评估报告的领导者位置,这与其持续在云存储服务领域的前瞻性和执行能力密不可分。

在总结AWS云存储服务的显著特点时,顾凡强调,“安全可信、至广至深、高度集成、开放生态是AWS存储服务非常重要的特点。”

与客户重视云应用可靠性和数据安全性一样,数据安全的重要性在AWS比所有的优先级都高,AWS无时不刻都在强调安全是“Day1”是其根本的立足点。

Amazon S3对象存储服务是被众多客户广泛应用的存储服务,Amazon S3做了超细粒度的安全访问控制策略来满足。同时,AWS还通过VPC来加强对数据网络接入的控制,以及加密和审计功能来满足各类法规遵从。

如今,AWS已经形成了完整的云存储服务阵容,覆盖对象存储、块存储、Linux文件存储、Windows文件存储、高性能文件存储、低成本归档存储,以及云上的备份存储,并将这些服务同步到了中国市场。IDC在其IaaS MarketScape提到,AWS继续保持其在公有云中IaaS市场的主导地位,并为客户提供当今公有云中最广泛的基础设施服务组合。

此外,AWS还提供多种数据传输和边缘处理的服务,来满足数据的在线传输和离线传输。比如,当用户要将数据迁移到Amazon S3时,可以在本地数据中心安装AWS Storage Gateway代理,可让企业从本地访问不受限制的云存储,从而简化存储管理,降低关键混合云存储用例的成本。

在深度方面,比如Amazon S3根据数据的访问频率有多达6个标准分级,“用户可以根据数据访问的频度,以及应用和工作负载对性能和备份数据回滚时间的容忍程度,来选择最高性价比的存储层”,顾凡说,“S3 Intelligent-Tiering能够通过机器学习的方式,去分辨、预测一个客户的数据的冷热程度,从而将数据自动放到对应的存储分级中。”

AWS的云服务非常强调每项服务的高度集成性,对于存储服务而言要紧跟云上工作负载未来的发展路径,是要进行大数据分析、数据湖、机器学习、应用程序的现代化,还是容器化,随着工作负载的迭代和演进,存储势必需要满足与其他云服务的紧密集成。顾凡特别强调了目前在云存储服务集成性方面的鲜明用例,数据湖,微服务、容器化和无服务器化趋势。

近年来,数据湖的快速增长驱动了Amazon S3的用量增长,据AWS统计目前在Amazon S3上运行着数万个数据湖应用。数据湖有效的解决了跨数据孤岛的数据分析的高吞吐、高并发、高可用和扩展性的优化。

“利用Amazon S3数据湖时,它与AWS Storage Gateway、Amazon EMR、Redshift、Athena、Kineses,SageMaker等云服务集成有效的保证了数据的注入、清洗、分析、查询和机器学习模型训练”,顾凡举例说。

丰田互联基于Amazon S3开发和部署数据湖,仅用5个多月时间就上线了Toyota Big Data Center China,它可以存储、处理上千万辆丰田汽车每天在行驶过程中产生的数十TB数据,利用Amazon S3的可伸缩性和高可用性,集成AWS Lambda,Amazon Kinesis和Amazon EMR等AWS服务的大规模数据处理功能, 高效地完成从实时数据注入、解码到分析、应用的全流程。

经过多年的积累,AWS云存储服务聚集了众多的合作伙伴,如NetApp、Commvault、VMware、Cloudera等等,从而构建起了业界最为完整的存储生态系统。

文件存储成为新增长极

近年来云上文件存储的发展速度非常快,文件存储服务也成为了AWS云存储服务新的增长极。在2020年初,AWS在中国区上线了针对Linux工作负载AWS EFS文件存储服务后,这次又连续落地了针对Windows工作负载和高性能计算工作负载的文件存储服务。

满足企业在云端更加丰富的工作负载存储需求是AWS加速文件存储服务在中国市场落地驱动力,在全球市场公有云上面运转的Windows工作负载有过半跑在AWS上。而Windows工作负载上云面临两方面的挑战。首先,面对特定的Windows工作负载,企业不可能将其转换成Linux工作负载,挑战会比较大;而使用第三方存储服务的软件License在云上部署,又增加了运维成本。

企业内部围绕Windows为核心的工作负载,比如ERP、CRM、Office办公文件等这些系统迁移上云的时候,需要有与Windows工作负载的存储服务来适配。

Amazon FSx for Windows File Server提供一种完全托管、高可靠且可扩展的文件存储服务,它与Windows应用程序完全兼容,Linux和MacOS操作系统也可以通过行业标准的SMB协议访问,共享文件存储。其主要应用于用户文件共享、Web网站服务、企业内容管理、Windows应用程序和工作负载、数据分析业务等工作负载。

在部署方式上,Amazon FSx for Windows支持单可用区,多可用区的部署,最多可提供跨三个可用区的部署,以提高最好的可用性、持久性。存储介质上可选择SSD、HDD来平衡成本。

Amazon FSx for Windows还有一项业界独有的功能“数据去重”。当企业的文件存在非常接近或一模一样的文件时,会占用大量的存储资源。通过这项功能能够帮助企业将相同的文件只保留一份,从而最大程度节约存储成本,目前该功能的准确率高到80%。

此外,Amazon FSx for Windows还有微软的AD集成,从而简化存储的权限管理、配额限定等管理工作。

高性能计算在过去几十年时间中一直围绕三个方向在持续努力,第一是计算节点能力,第二是网络支撑能力,第三是文件存储能否跟得上整个集群的响应速度。所以,当更复杂的应用开始实现在云上面部署的时候,高性能计算是一个非常大的驱动力。

在2019年的全球超级计算机TOP500的榜单中,Descartes Labs使用AWS云资源运行标准的高性能计算测试,性能达到1.926 petaflops,跻身TOP500中的第136位。这也是TOP500榜单上第一个在公有云上运行的超级计算机,标志着高性能计算工作负载跑上云端进入了崭新的阶段。

高性能计算工作负载上云,能够弹性、灵活、快速和低成本的获得超算的能力,为航空航天研究、金融风控、自动驾驶等商业化发展铺平了道路。

Amazon FSx for Lustre也是一项完全托管的高性能文件存储服务,能提供亚毫秒级延迟、高达每秒数百GB的吞吐量和百万级的IOPS,为计算密集型工作负载提供经济高效的高性能存储。可广泛应用于机器学习、高性能计算、电子设计自动化、生命科学、自动驾驶和视频渲染等需要高性能共享存储的工作负载。

据了解,在中国市场已经有许多半导体设计公司和半导体供应商开始使用使用Amazon FSx for Lustre来运行EDA中的工作负载。

你可能感兴趣的:(夯实数据“底座”,AWS完整云存储阵容吹响“集结号”)