宣布 Databricks 支持 Amazon Graviton2，性价比提高 3 倍

作者：Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan
2022 年 4 月 18 日

今天，我们很高兴地宣布 Databricks 对基于 AWS Graviton2 的亚马逊弹性计算云（Amazon EC2）实例的支持的公开预览。Graviton 处理器由 AWS 进行定制设计和优化，为运行在 Amazon EC2 上的云工作负载提供最佳性价比。当与高性能 DataRicks 查询引擎 Photon一起使用时，基于 Graviron2 的亚马逊 EC2 实例可以为您的 data lakehouse 工作负载提供比同类亚马逊 EC2 实例高 3-4 倍的性价比。在这篇博文中，我们将介绍 Photon 与 Graviton2的性价比，并为您提供进一步降低 AWS 基础设施成本的其他建议。

Photon 和 Graviton2 的性价比

为了确定 Photon 和 Graviton2 的性价比，我们在基于 Graviton2 的 R6gd EC2 实例和类似的 I3 EC2 实例上进行了一个简单测试，运行两种不同的工作负载（TPC-DS 和带有批量插入和合并语句的标准 ETL 工作负载）。我们发现，对于 EC2 实例，仅 Photon 引擎就显著提高了性价比。但基于 Graviton2 的实例上的 Photon 更进一步，与 I3 实例上以前的 Databricks 运行时相比，ETL 工作负载的性价比提高了 3.3 倍，TPC-DS 工作负载的性价比提高了 3.7 倍。尝试基于 Graviton2 实例的客户报告了类似的结果，并分享了我们的兴奋！下面是一位 Databricks 客户的一句话，他碰巧对基于实例的 Arm 了如指掌。

Arm 生产力工程业务副总裁 Mark Galbraith 说：“云计算正在推动半导体设计领域的重大创新，通过将我们的设计工作量转移到基于 Arm 的 AWS Graviton2 实例上，提供显著的性价比提升，我们亲眼看到了 Arm Neoverse N1 平台带来的好处。”。“这一点对于 Graviton 2 上的 Databricks 尤为明显，我们期待着将 Databricks 的生产使用迁移到 Graviton 2 上，以进一步增强用户体验并降低成本。”

Photon 和 Graviton2 的性价比比较

通过 Amazon EC2 Spot 实例和 Amazon EBS gp3 卷支持，进一步节约了成本

除了 Graviton2 和 Photon 之外，还有其他方法可以提高 AWS 上 Databricks 工作负载的性价比。这些措施包括：

Amazon EC2 Spot Instances–Spot Instances 可让您充分利用 EC2 的闲置容量，与按需价格相比，可享受高达 90% 的折扣。根据工作负载的性质，您可以使用 Spot 实例替换 DataRicks 集群中的按需或保留 EC2 实例，从而节省成本。

Amazon EBS gp3 卷——存储可能是云基础设施成本的一大部分。Databricks 支持 gp3 卷（https://databricks.com/blog/2...）。Amazon Elastic Block Store（Amazon EBS）的 gp3 SSD 卷使您能够提供独立于存储容量的性能，每 GB 的性价比比现有的 gp2 卷高 20%。

要了解有关性价比优化的更多信息，请阅读我们的群集最佳实践文档。
（https://docs.databricks.com/c...）

从Graviton开始

基于 AWS Gravion2 的公共预览实例支持目前正在推出，并将在未来几周在所有受支持的地区提供。要开始并获得迁移到 Graviton 2 和 Photon 的指导，请阅读我们的 Graviton 文档（https://docs.databricks.com/c...）。