关键字: [Amazon Web Services re:Invent 2023, 亚马逊云科技, Media Services Modernization, Cloud Migration Seamless Practices, Strangler Fig Migration Pattern, Microservices Architecture Modernization, Business Agility Infrastructure Flexibility]
本文字数: 3200, 阅读完需: 16 分钟
如视频不能正常播放,请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1bw41147hU
要实现零服务中断的应用现代化和迁移,需要通过适当的策略和最佳实践进行精心规划。LG U+ 与亚马逊云科技专业服务合作,应用最佳实践并为其 IPTV 媒体服务的现代化和迁移制定战略。在本论坛中,您将了解到帮助 LG U+ 从传统服务无缝切换到亚马逊云科技的一些关键模式。
以下是小编为您整理的本次演讲的精华,共2900字,阅读时间大约是14分钟。如果您想进一步了解演讲内容或者观看演讲全文,请观看演讲完整视频或者下面的演讲原文。
在2022年re:Invent的首场会议上,韩国亚马逊云科技专业服务部门的资深实践经理JB Yoo主持了一场精彩的开幕演讲。他表示,大家齐聚一堂,共同探讨应用现代化的议题,这一主题被特意安排在开幕式上进行。JB深思熟虑地解释了为何选择应用现代化作为开场话题的原因——在客户考虑将业务迁移至亚马逊云科技公共云时,他们所看到的不仅仅是有助于降低成本的基础设施,更视为推动业务增长的关键驱动力。此次关于应用现代化的会议正是围绕这一主题展开。
JB向观众介绍了另外两位将参与讨论的专家。首先亮相的是LG U+研究员和领导团队负责人Sonia Kim。自加入LG U+以来,她在推动公司成功的云旅程中发挥了重要作用。作为LG U+媒体服务团队的DevOps领导者,她的贡献尤为关键。第二位专家是亚马逊云科技的高级云计算应用架构师Xizong Li。他为LG U+应对具有挑战性的应用现代化工作提供了强大支持。在整个过程中,他一直关注潜在的业务成果。
JB简要概括了会议的主要内容,包括LG U+的背景、促使他们寻求与现代亚马逊云科技合作的原因、亚马逊云科技专业服务如何助力他们加速现代化进程、Sonia详细阐述他们的无缝迁移过程及取得的业务成果,以及最后提供的联系方式,以便解答观众的后续疑问。
接着,JB向观众介绍了客户LG U+的背景。尽管许多人可能对LG电子(一家知名的电视和家庭电器制造商)耳熟能详,但LG U+同样是LG集团旗下的子公司,且是韩国的第二大企业。值得一提的是,LG U+还是韩国的第三大无线运营商,截至2023年1月,其市场份额高达25%。此外,LG U+还兼任互联网服务提供商,拥有490万订阅用户。
在2007年12月,LG U+启动了一项重要的发展计划,推出了他们的首个媒体服务——LG U+ IPTV。如今,该服务已吸引了多达530万的订阅用户。基于IPTV服务的成功,LG U+开始拓展到其他媒体服务领域。其主要产品包括LG U+ IPTV(通过机顶盒)、专为儿童和年轻人设计的Olleh Kids和Olleh Idol内容服务,以及专注于移动体育的Olleh Sports。作为一家进入市场较晚的公司,LG U+投资了大量资金以提高其竞争力。在这个过程中,这些服务逐渐转变为在线流媒体(OTT)服务,并与Netflix、迪士尼+和YouTube等大型平台展开合作。通过与亚马逊云科技专业服务部门的多年合作,LG U+的服务现已迁移至亚马逊公共云平台。目前,这些服务可支持每日活跃的500万个机顶盒,处理每日1.9亿次请求,以及每日1.36亿个数据请求。这种规模展示了在云中运行这些关键业务服务所具有的高可用性、可靠性和性能。此外,向云端迁移使得LG U+能够轻松推出新服务、部署更新并在不影响现有运营的情况下实时执行维护,从而实现了卓越的业务敏捷性。
随着时间的推移,LG U+与亚马逊云科技的专业服务部门展开了深入的合作。在接下来的两位演讲者的分享中,我们将深入了解他们在这一过程中的经历。整个现代化过程是逐步进行的,避免了有风险的“一次性全部”方法。在与亚马逊云科技专业服务部门紧密合作下,LG U+采用分阶段的方法,花费两年时间应对超过980个已经维持了十年的API及其之间的复杂依赖关系带来的挑战。
在第一年,该公司专注于转型工作,包括设计云架构、利用亚马逊云服务建立健壮的持续集成/持续交付(CI/CD)管道,以及构建稳定的亚马逊云环境。在这个坚实的基础之上,他们在第二年逐步开始了API的迁移工作,同时确保正在进行的服务不受干扰。根据图表数据,截至2022年4月,他们已经将20%的流量转移到亚马逊云;到了同年8月,这一比例上升到了50%。在整个应用现代化的过程中,LG U+一直在研究哪些应用程序需要重新平台化。最终在2022年4月,他们成功地完成了全部流量的迁移,没有对客户造成任何影响。从那一刻起,LG U+将在亚马逊云上继续加强其架构和运营能力。
接下来,李锡宗上台详细介绍了LG U+所面临的挑战和问题。作为一名高级云应用架构师,他非常乐意与大家分享这段成功的历程。
首先,李锡宗谈到了LG U+曾经面临的问题和挑战,这些问题促使他们选择了亚马逊云进行现代化。如前所述,LG U+的媒体平台提供24/7的按需视频服务,包括电影、电视剧和电视节目。然而,在推出新功能之后,用户遇到了一些问题,如视频意外停止或冻结、屏幕上出现错误消息以及机顶盒对遥控器无响应。这些可用性问题导致了糟糕的用户体验。
问题的根源在于他们的数据库服务器计算资源不足。一些新引入的特征更新的SQL查询消耗了大量的CPU,影响了整体服务性能。LG U+决定优化SQL查询以减少CPU使用。然而,由于依赖手动过程来部署更改,他们花费了近10天时间来研究和发布更新。
具体来说,为了发布新的应用版本,开发人员必须亲自访问内部数据中心并上传新的二进制文件。这些手动过程和过时的开发实践使得LG U+在应对问题时反应迟缓。在经过一系列类似事件后,LG U+开始考虑在亚马逊云上现代化他们的服务。
几位关键因素促成了LG U+的这个决策。首先,他们的媒体平台已经相当陈旧,部分系统甚至已经使用了15年之久。随着时间的推移,不同的客户设备和用户群体数量急剧增长,但底层架构并未经过调整以满足市场及客户需求的变化。因此,他们的服务需要进行现代化改造,以便能够快速响应客户的反馈。
LG U+决定将其工作负载从单体架构转型为微服务架构,并用现代Java和Spring Boot重写所有的遗留代码。同时,他们还计划将单一的大型数据库分割成多个较小的亚马逊云科技数据库。此外,他们打算将运营模式调整为基础设施即代码。
然而,在迁移和现代化进程中,LG U+的服务不能承受任何停机时间。特别是他们的实时媒体服务在大规模更改执行时面临巨大挑战。正如Xizong所言,这就像在高速公路上维修一列正在行驶的火车一样困难。因此,现代化过程需要在不中断服务的前提下寻找合适的过渡方案。
另外,LG U+还希望通过提高其内部技术能力来实现目标。迄今为止,他们一直依赖外部合作伙伴来开发和运营他们的媒体平台。然而,LG U+希望能够主导这个现代化项目,为此他们需要投入资源培训工程师们掌握云和现代应用程序的相关知识。通过招聘和培训内部员工,他们在实施这个项目时可以增强信心。
Xizong强调,行政支持在任何成功的数字化转型中都至关重要,而LG U+的领导层对此有充分的理解。最重要的是,LG U+决心培养直接开发和运营他们自己基于亚马逊云科技的平台所需的技能。这为他们云原生现代化的征程奠定了基石。
Xizong接着讲述了亚马逊云科技和LG U+团队是如何携手实现预期的成果的。亚马逊云科技从一开始就被视为技术顾问,与LG U+及其合作伙伴并肩作战。首要任务是为新的微服务架构以及用于从单体迁移的分解方法找到解决方案。
Secondly, the company has focused on creating a powerful continuous integration and continuous deployment (CI/CD) pipeline on Amazon Web Services (亚马逊云科技) to support the building and deployment of modern applications. As a result, the team designed an Amazon Web Services architecture for data migration from internal deployment to the cloud. In the second stage, LG U+ was ready to begin transferring modern applications from internal deployment to AWS.
Due to the need to operate simultaneously on new and old platforms, the Amazon Web Services team focused on addressing the technical challenges of the new environment so that LG U+ could focus on managing both production environments without affecting service.
Subsequently, Xizong reviewed their major milestones. Firstly, they held a field discovery workshop with LG U+ and its partners to gain a comprehensive understanding of the business and technological environment, providing the background required to draft the initial microservice architecture and identify the boundaries for modernization.
Next, they determined how to design the target microservice architecture based on the workshop outputs. Finally, they arrived at a candidate microservice architecture. As Xizong pointed out, this initial architecture has not been finalized yet – it is merely a starting point for validation.
To validate the proposed microservice architecture, they implemented a minimum viable application on Amazon Web Services with LG U+'s partners. The test of this prototype confirmed that the architecture could achieve significantly higher performance compared to internal deployment systems while maintaining loose coupling between services. This validated their choice of methods for the modernization target architecture.
Xizong emphasized that there is no perfect solution when determining a modernized architecture – different options must be evaluated according to the customer's requirements and workload needs. After the foundational infrastructure was ready, the team entered the next phase of accelerated modernization.
A cloud-native CI/CD pipeline is a critical driver for reliably and efficiently delivering modern applications to production. The Amazon Web Services team introduced LG U+ to best practices in continuous integration and continuous deployment, such as automation testing, infrastructure as code, and canary releases. They helped implement a powerful CI/CD workflow on Amazon Web Services that incorporated these principles.
该团队随后协助LG U+,根据应用架构选择了最符合成本效益的亚马逊云科技实例类型和大小进行配置。他们持续提供建议以优化架构,提高效率和性能。此外,亚马逊云科技团队对基础设施即代码进行了审查,并引导改进以建立跨环境的安全和标准化的结构。正如Xizong所指出的,架构必须随着变化而不断演变,因此定期审查是必要的。将数据从内部迁移到亚马逊云科技是一个最大的挑战。团队分析了LG U+的旧数据中心,以确定最佳的迁移策略和在亚马逊云科技上的数据库架构以实现高性能。在初始数据迁移后,必须将来自内部数据库的更改持续复制到亚马逊云科技,以在过渡期间保持一致性。然而,数据复制管道遇到了一些技术问题,这些问题可能会损害数据的完整性。亚马逊云科技团队审查了应用程序代码,并提出了对数据管道的优化建议,以解决问题,同时尽量减少对性能的影响。当运营亚马逊MSK集群时,团队发现了影响维护窗口期间集群可用性的配置问题。他们迅速找到了根本原因,并建议调整集群设置以恢复高可用性。总的来说,Xizong解释说,亚马逊云科技团队如何在迁移过程中帮助解决和优先处理技术障碍,使LG U+能够专注于现代化。通过在敏捷冲刺中并肩工作,快速交付了解决方案以克服运营挑战。Sonya Kim接着上台,详细说明了LG U+如何实际执行无缝迁移到亚马逊云科技。她强调了指导他们方法的两项核心原则——无中断过渡和长期逐步迁移。作为一个全天候媒体服务,即使轻微的性能影响或短暂的停机也可能会被客户立即注意到。这要求在过渡期间保持100%的运行时间和可用性。此外,由于过去15年中积累了数百个API,他们需要一个仔细的计划以在延长的时间范围内逐步转移功能。
Sonia,一位经验丰富的专业人士,从具有挑战性的非破坏性迁移举措中吸取了宝贵的经验。她强调了四个关键实践,这些实践帮助LG U+成功地完成了迁移。首先,LG U+采用了云原生基础设施和软件开发。云计算提供了灵活性、可扩展性和高可用性等好处,而云原生的持续集成和持续交付管道则加速了部署和变更管理。与传统的基础设施和软件交付模式相比,这种方法大大提高了服务开发的速度和系统的规模。其次,LG U+通过采用云计算技术解决了基础设施限制的问题。此外,将基础设施作为代码自动进行供应和配置,从而进一步提高了效率。最后,LG U+为其云环境实施了核心的持续集成和持续交付最佳实践。这些做法包括将源代码作为唯一的事实来源,以及使用独立的管道处理持续集成和持续交付阶段。在环境中重用经过验证的镜像可以减少缺陷,而自动化工具如Amazon Web Services CodeDeploy、CodePipeline和CodeBuild则将整个部署过程自动化,将部署速度提高了10倍。总的来说,这些实践使得LG U+能够在不引发事故的情况下,频繁地释放小更改。
LG U+非常重视为客户提供无缝的体验,因此尽管增加了复杂性,他们仍选择采用增量迁移策略。为了实现这一目标,他们需要强大的数据管道在过渡期间紧密同步两个数据库。为了满足这些需求,LG U+采用了亚马逊云科技的Managed Streaming for Apache Kafka (Amazon MSK) 和 Kafka Connect。作为托管服务,Amazon MSK减轻了运行生产Kafka的负担,而Connectors则与源和目标数据库进行集成。尽管如此,优化性能以最小化复制延迟仍然具有挑战性。经过数月的测试和调整,他们将延迟降低到接近实时数据流的速度。然而,将1TB的基础数据初始加载到亚马逊云科技中花费了近3天的时间,这是一个无法在切换期间容忍的问题。为了解决这个问题,他们利用了亚马逊云科技的数据库迁移服务(Amazon DMS)来快速迁移初始数据库快照。通过结合使用Amazon MSK、Kafka Connect和Amazon DMS,LG U+成功解决了数据管道方面的挑战。稳定的、高性能的复制对于在不影响客户的情况下逐步转换API至关重要。接下来,Sonia介绍了"绞杀者图"迁移模式,这是一种非破坏性地将1000多个API迁移到云的方法。在这个过程中,新旧系统之间设置了一个门面,用于选择性地将流量路由到任一环境。起初,所有流量都会流向旧的内部部署环境。随着时间的推移,个别应用程序被重构并逐渐将流量转移到云环境中。例如,内容查找和编目API首先被迁移,然后将对这些特定API的请求路由到亚马逊云科技环境,而其他所有流量将继续流向内部部署系统。这种迁移方式使得LG U+能够在12个月内不中断地迁移一组API。如果出现问题,他们可以在修复期间轻松地将该API的路由回退到旧平台。通过同时维护两个环境,客户在过渡期间不会感受到任何变化。Sonia总结的最后一条关键实践是应用现代化和采用微服务。由于遗留代码包含了过去15年积累的大量技术债务,如果不重新设计,它将对LG U+在亚马逊云科技上的灵活性和效率产生限制。
尽管解析所有代码依赖和业务逻辑仍然十分困难,但由于缺乏文档或原始开发人员的信息,但最初将整个平台重构为微服务的计划已被证明是不现实的。经过对应用程序的深入研究与原型设计,亚马逊云科技协助LG U+在重新设计API和提升迁移方面找到了一个实际可行的平衡点。最终,78%的API通过重新设计或重新平台化得以现代化,而剩余的22%则被停止使用。这一比例远远超过了典型现代化改造的比例。
LG U+在迁移后的实际业务成果由索尼亚进行总结。部署频率从每月两次提高到了每天五次。回滚时间从4小时缩短至1小时内。在2020年的一次重大更新中,性能曾出现下降,导致观看历史记录受限25%。如今,他们可以提供四倍的观看历史记录,同时亚马逊云科技的API响应速度提高了五倍。客户问题解决时间也从几周缩短到了不到两天。
总的来说,搬迁至亚马逊云科技使得LG U+能够成为一个高性能、敏捷的组织,并在逐步现代化的过程中保持无缝的全天候服务。索尼亚强调,LG U+的云之旅仍在继续——这一转型为未来的创新和增长奠定了一个现代的基础。
下面是一些演讲现场的精彩瞬间:
开幕会议主要关注应用现代化,而亚马逊云科技则被视为业务增长的关键加速器,不仅仅是为了降低成本的基础设施。
在将应用程序和数据迁移到云端的过程中,逐步迁移相较于大规模迁移更为稳定。
亚马逊云科技的数据迁移服务提供了一种快速且简单的方法来迁移大量数据。
Sprint cloud gateway在客户设备和云系统之间的迁移过程中负责路由请求。
迁移至亚马逊云科技使LG Plus媒体平台能够快速建立开发、改善团队协作以及实现更快的软件交付。
通过迁移至亚马逊云科技,公司将能够通过一个快速高效的服务平台创造新的商业机会。
韩国的大型电信公司LG U+是该国的主要电信公司之一,为数百万客户提供优质电视和视频流服务。为了提升基础设施灵活性、开发速度以及商业敏捷性,LG U+启动了一个大规模的现代化迁移计划,将媒体平台迁移至亚马逊云科技云端。
在整个迁移过程中,LG U+的团队秉持两个核心原则:确保对客户不产生干扰,并采取逐步长期的策略。为了确保电视服务的平稳运行且不出现任何中断,因为客户会迅速察觉到任何问题,这一点至关重要。由于该平台在15多年里已经积累了大量复杂的功能,LG U+无法采用“大爆发”式的迁移方法。
LG U+制定了四个关键实践,这些实践对其成功的迁移至关重要:
首先,他们采用了云原生技术,如容器、不可变的基础设施和CI/CD管道,从而实现自动化的部署过程,缩短开发周期并提高灵活性。
其次,他们在Oracle数据库和亚马逊云科技的PostgreSQL之间建立了实时数据同步管道,并利用Kafka等亚马逊云科技服务。这种“吞噬者模式”的方法确保了他们在迁移过程中保持遗留和新建环境的一致性。
第三,他们通过吞噬者模式逐步将API迁移到云端,并通过网关在旧和新系统之间路由流量,从而避免了对客户的影响,并允许逐渐过渡服务。
最后,他们将大规模应用程序现代化为云原生微服务。尽管这一过程充满挑战,但他们成功地将78%的API进行了重构或重新配置,改变了整体架构。
这些现代化的举措带来了显著的结果:部署频率提高了5倍,回滚时间从数小时缩短到几分钟,问题可以在几天内而非数周内得到解决。云的可扩展性还帮助他们轻松应对高峰时段的负载峰值。
通过现代化,LG U+成功地将其庞大的媒体平台迁移到了云端,同时提升了客户体验。他们的成功之路展示了增量迁移的关键实践,强调了应用现代化在亚马逊云科技上带来的商业价值。
https://blog.csdn.net/just2gooo/article/details/135120430
2023亚马逊云科技re:Invent全球大会 - 官方网站
点击此处,一键查看 re:Invent 2023 所有热门发布
【免费】亚马逊云科技“100 余种核心云服务产品免费试用”
【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”
亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者,自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务,涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体,以及应用开发、部署与管理等方面;基础设施遍及 31 个地理区域的 99 个可用区,并计划新建 4 个区域和 12 个可用区。全球数百万客户,从初创公司、中小企业,到大型企业和政府机构都信赖亚马逊云科技,通过亚马逊云科技的服务强化其基础设施,提高敏捷性,降低成本,加快创新,提升竞争力,实现业务成长和成功。