BOA204 | 当强调保障性、安全性和紧迫性时：处理 Log4Shell

BOA204 | 当强调保障性、安全性和紧迫性时：处理 Log4Shell

关键字: [Amazon Web Services re:Invent 2023, Log4j, Log4Shell Vulnerability, Log4J Logging Library, Remote Code Execution, Security Response, Hot Patching]

本文字数: 3300, 阅读完需: 16 分钟

视频

导读

2021年12月9日，广泛使用的开源 Apache 日志库 Log4j 中有一个关于潜在的远程代码执行问题的报告。此问题允许用户使用 Java Naming 和 Directory Interface (JNDI) 和 LDAP 端点在系统上执行任意代码。在接下来的10天里，影响 Log4j 的另外5个常见漏洞和问题被公之于众。这个事件现在被称为 Log4Shell。在本次分享中，您能了解对 Log4Shell 的响应从最初的通知到热补丁、设备扫描和客户沟通。

演讲精华

以下是小编为您整理的本次演讲的精华，共3000字，阅读时间大约是15分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

2021年11月24日，感恩节后的第一天，一系列迹象开始显现，预示着一个被称为Log4Shell的关键安全漏洞即将出现。在中国，作为拥有超过10亿年度活跃消费者的电子商务巨头，阿里巴巴向Apache软件基金会报告了关于流行Java日志库Log4j的问题。由于Log4j的JNDI查找功能未进行适当的输入验证，导致远程代码执行，许多基于Java的应用程序和服务都在运行时使用此功能查找资源。这意味着恶意攻击者可能能够远程控制运行Log4j的系统。起初，这一报告并未引起太多关注。2021年11月29日，Apache发布了一些初步修复方案，但这些方案几乎未引起任何关注或重视。

与此同时，在亚马逊云科技（Amazon Web Services），工程师们正在忙碌地确保如提供可调整计算能力的Amazon EC2和对象存储服务Amazon S3等服务能在黑色星期五和网络安全星期一等年度最大的在线购物日顺利运行，这些购物日的销售额每年超过100亿美元。负责监督诸如Amazon EBS和API网关等服务的高级运营经理Laura希望在确保亚马逊云科技的服务准备好应对假日高峰期之后，能够在假期期间休息一下。

然而，这种平静在12月9日被第一条关于“Log4Shell”的公开推文打破。专注于EC2和EBS安全的亚马逊云科技安全工程师Mark在一条警告称Log4j问题可能导致远程代码执行的推文中看到了潜在的重大影响。他立即在一张票中与亚马逊云科技的高级安全团队Ghostbusters进行了沟通，该团队由一群处理重大问题的杰出工程师和主管组成。在他的票中，Mark写道：“除了推文中的内容外，我对这个问题一无所知。如果这是真的，那么Log4j的RCE可能会是一个相当大的问题。”

幽灵灭队"团队，由主要安全工程师Abby领导，负责EC2、EBS、API网关和Amazon Linux安全方面的工作，迅速采取行动。他们立即采取了初步缓解措施，例如试图阻止对亚马逊云科技服务，如Amazon S3或Amazon DynamoDB的任何潜在攻击尝试。由于尚不清楚问题的范围，他们决定采取谨慎的措施，完全删除与Log4j有关的JNDI查找类。事实证明，这是一个关键性的决策，将在以后带来回报。

在12月10日，亚马逊云科技开始准备在其基础设施和服务中大规模部署修补程序。实施这些更改并非易事。亚马逊云科技服务在全球数十个数据中心支持数百万服务器，为全球超过2亿活跃客户提供服务，从个人到企业。规模庞大。为了优先处理Log4Shell补丁，亚马逊云科技实施了停止所有其他部署和更改的变更控制程序，除非被认为是绝对关键的——这可能不到正常部署量的1%。

部署根据风险级别分为一系列波浪。面向客户的服务，如Amazon EC2、Amazon S3和Amazon DynamoDB，首先得到修补，然后是基础内部服务，如亚马逊云科技的网络安全基础设施。劳拉的假期将不得不推迟——她在管理像Amazon EBS这样的服务的大型协调部署方面的技能是应对Log4Shell所需的。

与此同时，一个幸运的突破发生在12月11日，独立研究员Volker Simonis（与亚马逊云科技无关）在推特上发布了一个“实时补丁”，允许在不重启虚拟机的情况下实时修补运行的Java虚拟机。这对于在云或内部运行关键Java应用程序和服务的客户来说是一个福音。Abby和亚马逊云科技响应团队决定分散他们的努力，并将Volker的热补丁和他们自己禁用脆弱Log4j代码的补丁一起推出。

在接下来的几天里，亚马逊云科技的工程师们持续地对数千个服务和系统进行深入的修复工作。随着更多的CVE漏洞被披露出来，但由于提前删除了脆弱的JNDI查找类，亚马逊云科技并未受到直接影响。到12月17日，危机应对逐渐平稳。亚马逊云科技公开发布热补丁供他人使用，并在需要时默认应用，例如在Amazon Linux和亚马逊云科技Lambda运行时中。

回顾这次应对情况，艾比（Abby）和亚马逊云科技团队注意到几个关键成功之处。瑞安（Ryan）预先删除脆弱JNDI类的决策在保护亚马逊云科技基础设施和客户方面取得了回报。沃尔克（Volker）的热补丁提供了一个宝贵的工具，可以在不造成干扰的情况下实时修补。数千名亚马逊云科技工程师夜以继日地努力修补系统并缓解漏洞，付出了超过10万个工作小时。

然而，也有一些领域需要改进。内部与客户的沟通可以更加一致和及时。热补丁的推出导致一些暂时的服务波动，使得一些亚马逊云科技Lambda功能的延迟增加了高达5%。如此大规模的应对意味着并非所有团队最初都熟悉Log4Shell。

总的来说，通过谨慎的措施、不懈的努力以及新技巧（如热补丁）的快速适应，亚马逊云科技能够迅速有效地应对减轻一个关键漏洞的影响。此次应对规模庞大，涉及公司内数千名工程师来修补数百万个支持无数客户应用程序和工作负载的系统。由于他们的努力，亚马逊云科技保护了客户免受可能在网上造成更广泛破坏的漏洞的影响。尽管疲惫不堪，但亚马逊云科技团队在应对这种需要他们发挥最佳技能和对客户影响保持最低限度的承诺的危机情况时感到自豪。

下面是一些演讲现场的精彩瞬间：

艾比，作为亚马逊云科技的高级首席安全工程师，在关于EC2和法国安全主题的演讲中分享了自己的见解。

她表示将探讨一些不同的议题。

最初，11月24日关于Log4shell漏洞的初步报告并没有引起广泛关注。

然而，这个信息并未明确说明受影响的Log4j版本，这使得人们普遍认为这是一个广泛且严重的漏洞。

对于在缓解措施实施期间由于时区差异给同事们带来的不便，公司领导表示道歉。

此外，为了应对超过200亿次的攻击尝试，他们临时创建了相应的工具。

总结

亚马逊云科技针对Log4Shell漏洞的应对措施为我们提供了宝贵的经验，以有效地应对此类事件。当阿里巴巴在11月24日向Apache报告这一问题时，最初并未引起足够的重视。然而，在12月9日的一条令人担忧的推文引发关注后，亚马逊云科技迅速作出回应，从制定缓解方案、与高级工程师进行电话沟通等方面入手。在短短数小时内，亚马逊云科技就实施了网络过滤规则，以防止漏洞被利用并移除了存在漏洞的代码。在接下来的几天里，尽管正值假期季节，亚马逊云科技仍然密切关注漏洞的发展情况，修复服务问题并动员数千名工程师参与其中。

亚马逊云科技在此次应对过程中的成功之处包括尽早移除高风险代码、实施深度防御策略以及跨部门间的紧密协作和努力。需要改进的领域包括沟通的不一致性、给处理问题的员工分配过多任务以及延迟向客户提供相关信息。更广泛地说，亚马逊云科技学会了在早期阶段就积极参与领导层的决策、加强沟通、减轻团队的工作压力、规划可持续的应对方案、适时升级以及快速迭代。总的来说，尽管在平衡速度和彻底性方面仍面临挑战，但亚马逊云科技所付出的重大努力展示了其强大的应急响应能力。在困难的情况下，数千个团队投入巨大的精力来解决这个关键漏洞。

演讲原文

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。