架构设计内容分享(一百三十一)：俭约架构之进阶的成本度量和FinOps框架
目录
1. 有哪些实际客户案例吗？
2. 什么是 Cloud FinOps？
3.什么是 Cloud Finanical Management(CFM) 框架？
4.令人惊喜的 CFM 相关的最新更新
4.1 整合的统一视图，让客户更快更明智的决策
4.2不同维度的成本分析，洞察你的云上使用和投资价值
5. 如何开始？
6. 总结
2023年 re:Invent 大会亚马逊 CTO Werner Vogels 以 “俭约架构” 为主题，从架构设计、成本可观测性和持续优化三方面阐述了七条黄金法则；
对于架构设计，亚马逊云科技大中华区解决方案架构部总经理代闻在 上周 QCon 全球软件开发大会上有个专题演讲 “云端俭约之道：如何设计出成本优先的技术架构”，大家可以进一步学习；
对于大部分客户而言，都或多或少有些技术债，很多时候并没有结合云原生的特性设计成本为先的架构，而成本的可观测性和可度量是客户践行“俭约架构”的一个很好的起点，因为“无法观测的系统将带来无法估量的成本”，Werner 指出“当工程师和业务合作伙伴能够随时查看关键成本指标时，自然会催生出更具可持续性的实践策略，持续检查能帮我们发现非必要支出，并调整运营以减少浪费。总之，可成本可观测性带来的回报往往远超前期投入”；
对于服务客户的一线架构师而言，在帮助客户落地俭约架构的过程中，会遇到很多典型问题，我们展开聊聊。
1. 有哪些实际客户案例吗？
海外公开案例有Lyft，Fidelity等；我们举两个国内广告行业客户案例，对于程序化广告业务，日均的广告请求量可高达百亿甚至峰值到千亿次，单次请求成本是度量程序化广告的核心单位指标之一，两个行业标杆客户汇量科技和易点天下都在亚马逊云科技上遵循“俭约架构”法则，获得了匹配业务的弹性架构及超出预期的云上成本管理和优化；
汇量科技从2017年开始审视自己的架构，对标业界超大规模企业比如 Amazon.com 和 Netflix 的经验，推进微服务改造和混沌工程，并实现了系统更细粒度的弹性，大量采用Amazon EC2 Spot实例，最终汇量科技的单次广告请求的 IT 成本较先前降低了65%，服务器成本占总收入的比例从2017年的4.4%下降到 2018年的4.1%；
随着业务的全球化拓展，易点天下也在通过多云应用方式为不同国家和地区的业务提供支撑，然而，多样化的云资源选择也给易点天下带来了新的问题 —— 如何为业务选择最合适的资源，以避免过度的成本支出；因此易点天下是国内第一个采用 CFM（Cloud Finanical Management）框架（详见后续段落）的公开案例，2022 年底，在亚马逊云科技团队的协助下，易点天下完成了度量与评估、成本优化、规划和预测、云财务运营四个主要模块的问题分析；易点天下团队打造了具有丰富指标的 CFM 仪表板，实现了云成本的可观测性，进而实现了 30.14% 的综合成本节约；
那对于云的用户而言，大家会遵循什么样的方法框架来践行“俭约架构”中的成本可观察性和持续的成本优化呢？社区非常流行 FinOps 框架，而相应的，亚马逊云科技总结了我们多年客户落地成本管理和优化的经验，提出了类似的 CFM 框架和一系列的 CFM领域的云服务和解决方案；
2. 什么是 Cloud FinOps？
相对于 FinOps 大家更熟悉 DevOps，我们先回顾下 DevOps 即研发运营一体化，国内信通院已经牵头制定了 DevOps 的一系列标准以及成熟度模型，DevOps 能力模型分成研发运营一体化（DevOps）流程、应用设计、安全风险管理、组织结构和系统工具五大方面，笔者也曾参与过很多客户的 DevOps 项目的咨询和落地项目，包括亚马逊自身的 DevOps 实践经验分享，这里放一张经典的亚马逊视角的 DevOps 的定义：
那什么是 Cloud FinOps？引用 FinOps Foundation 组织的一个定义：
Cloud FinOps 是一种运营框架和文化实践，它通过工程、财务和业务团队之间的协作，最大限度地提高云的商业价值，实现及时的数据驱动决策，并明晰财务责任制；
这个定义跟 DevOps 有相似的地方，都是跨团队的协作，不仅仅是工具，还需要配套的文化机制，通过专业的 FinOps 人才队伍，持续实践实现云和业务的比翼齐飞；FinOps 不是“财务运营”的缩写，它是“财务”和“DevOps”的组合词，强调业务团队和工程团队之间的沟通与协作。
FinOps Foundation（F2）是隶属于 Linux 基金会的一家非营利性行业协会， 由来自世界各地的从业者组成，其中包括许多亚马逊云科技的客户和合作伙伴，该基金会定期举办会议、工作组和特殊兴趣小组，内容涵盖云成本和用量数据标准化、云成本优化、单位成本经济学和可持续性等话题，结合社区中的真实客户故事和专业知识；截止 2023年10月，全球有 8000多名认证的 FinOps Practitioners；
F2 的 FinOps 框架涵盖 FinOps 定义，基本原则，需要协同的团队角色，三大阶段六大能力域，三级成熟度模型；展开六大能力域，我们可以看到更多细节：
成本感知 Inform |
理解和跟踪使用量和成本 |
成本分摊 数据分析和可视化 管理共享成本 数据摄取和标准化 管理异常指标 预测 设计单位指标 |
| 效能跟踪和评价 | 单位指标度量 管理基于承诺用量的折扣 资源利用率和效率 预测 预算管理 管理异常指标 |
|
| 成本优化 Optimize | 实时决策 | 管理异常指标 建立 FinOps 决策和责任制组织结构 单位指标度量 数据分析和可视化 |
| 云采购成本优化 | 数据分析和可视化 管理基于承诺量的折扣 |
|
| 成本运营 Operate | 云使用优化 | 数据分析和可视化 新增工作负载 资源利用率和效率 云上工作负载管理和自动化 |
| 组织团队建设 | 倡导 FinOps 文化 成本归因和IT财务管理集成 FinOps 培训和赋能 云使用策略和治理 IT资产管理相集成 |
2023年10月，亚马逊云科技宣布加入 FinOps Foundation 协会成为 Premier Member，目的是更好服务社区；其中一个重要职责是参与 FOCUS 工作组，一起制定一个开放的云计费标准，FinOps Open Cost and Usage Specification (FOCUS)， 该标准旨在抽象一个云行业计费数据规范和工具，并帮助企业解决在计费数据质量，准确性和转换方面面临的挑战；与此同时，一起发展壮大整个 FinOps 社区，迭代满足不同行业客户的最佳实践；
3.什么是 Cloud Finanical Management(CFM) 框架？
为了满足客户对于云成本管理的方方面面的需求，亚马逊云科技提供了一系列云原生服务、方案和框架帮助客户管理和优化云上的支出，被称为 Cloud Financial Management (CFM) Services，CFM 提供客户 FinOps 相关的完整能力，无论是梳理和跟踪成本和使用量、通过整合账单和访问权限增强控制、通过预算和预测实现更好的计划，还是通过资源和购买方式优化进一步降低成本，都可以利用云原生的服务、工具和资源来帮助优化云上的成本。
跟 FinOps 框架类似，CFM 框架将客户的旅程分成四个支柱：
-
-
度量与评估 (See 可见)
-
成本优化 (Save 节省)
-
规划和预测 (Plan 计划)
-
云财务运营 (Operate 运营)
-
将客户如何规划未来的预算，改进现有的流程支撑云使用的动态性特征，以及成本支出的预测独立出一个 Plan 支柱，FinOps 和 CFM 框架两者共同的三大能力是 See vs Inform，Save vs Optimize 和 Operate vs Operate。
4.令人惊喜的 CFM 相关的最新更新
4.1 整合的统一视图，让客户更快更明智的决策
企业组织内所有账户的支出趋势和节省机会的单一视图可以为您决定从哪里开始并专注于何处节省大量时间；
以前，你可能需要在各个云服务控制台页面查找信息或工具来回答一个特定的 CFM 问题；现在，通过新的计费和成本管理控制台主页，你可以在一个地方浏览关键的 CFM 信息和建议，并具有直观的、基于用例的侧边导航。
举个大家都喜欢的成本优化工具为例，新的成本优化中心（Cost Optimization Hub）整合了原本 10多个工具的建议，帮忙客户快速识别6个主要方向的成本优化机会，比如 Stop 关停空闲资源，RightSizing 选择合适的机型和存储类型，Upgrade 升级到性价比更高的最新一代产品，迁移到 Graviton，购买 Savings Plan或预留实例；
4.2不同维度的成本分析，洞察你的云上使用和投资价值
所有的云原生服务和解决方案都集中到左侧的 Cost Analysis 模块，包括 AWS Cost Explorer 来理解你的成本趋势和驱动因素（Driver），目前可以选择多达 38个月的历史数据进行跨度 3年+的趋势分析，使用情况变化等等；通过所有云服务新的资源粒度级别数据，用户将有更多的可见性来发现成本驱动因素和异常情况；甚至客户还可以通过 GetFreeTierUsage来跟踪免费套餐使用情况和免费使用限制，并相应地提前准备或采取行动；
在以往，我们利用优良架构方法（WAR）和动手实验帮助很多客户构建基于 Amazon QuickSight 的成本详情 CUR（Cost & Usage Report）数据的可视化仪表盘，协助用户更深入洞察云上的成本，用户需要通过 CloudFormation 模版部署一套开源的成本数据仪表盘，比如 Cost and Usage Dashboards Operations Solution (CUDOS) Dashboard，The KPI and Modernization Dashboard，Trusted Advisor Organizational (TAO) Dashboard 等等；现在，用户可以更方便从 Cost Analysis 模块中，直接部署预构建的成本和使用情况 QuickSight 仪表盘，我个人是非常推荐大家使用它，它自带了一组汇总视图选项卡，提供账单汇总，环比趋势以及根据产品或类别相关的特定试图，比如数据传输和网络、数据库等等；更人性化的是，每个选项卡中提供了很多架构优化建议的材料链接；这个功能是由新的 Data Exports 功能提供的，用户除了可以选择内置的 QuickSight 仪表盘，也可以自定义数据导出，使用自己熟悉的 BI 工具进行分析；
5. 如何开始？
学习和培训是快速获取新知识和能力的方法，关于 CFM 可以参考 AWS Ramp-Up Guide: Cloud Financial Management 指南获取相应的课程，包括1个小时自学习的“Optimizing your FinOps Strategy with AWS” 在线课程，以及面向工程人员的 “AWS Cloud Financal Management for Builders” 和面向财务、业务人员的 “AWS Cloud for Finance Professionals”，这两个都是线下的培训；
除了课程，还有很丰富的公开动手实验内容，比如非常值得推荐的优良架构中关于成本优化支柱的实验，围绕成本归因和可视化，提供如下的实操练习：
-
-
Tag Policies
-
Cost and Usage Governance
-
Cost and Usage Analysis
-
Cost Visualization (Cost Explorer)
-
Cost and Usage Governance - Controls
-
Automated CUR Updates and Ingestion
-
Cost and Usage Analysis - SQL
-
Cost Visualization - QuickSight
-
Workload Efficiency
-
Automated Athena CUR Query and Email Delivery
-
Cost Categories
-
Cost Estimation
-
Cost Journey
-
Goals and Targets
-
Analyzing Licensing Costs
-
Splitting the CUR and Sharing Access
-
熟悉云资源不同的购买方式，并选择最适合自身业务的组合，是优化云成本的快捷方式之一，这方面也有实操环节，实际体验对自身业务的影响：
-
-
Pricing Models - Part 1
-
Pricing Model Analysis
-
Pricing Models - Part 2
-
Rightsizing Recommendations
-
Rightsizing with Compute Optimizer
-
Cost Anomaly Detection
-
Amazon S3 Intelligent Tiering
-
6. 总结
俭约架构是所有用户的共同追求，但七条黄金法则落地的过程需要多团队的协作，倡导 FinOps 和数据驱动的文化，以及团队建设培训等前期的投入，我们聚焦在俭约架构的成本可观测性和优化两方面，引用了2个典型的广告客户的案例，并介绍了 FinOps/CMF 框架，最后回归实战层面，亚马逊云科技 re:Invent 大会中跟 FinOps 相关的令人兴奋的服务更新，无论何时开始行动都不晚！