大地量子联手亚马逊云科技，应对全球天气预报系统超大数据量挑战

大地量子成立于2017年，致力于打造行业顶尖的时空数据算法体系和计算架构，助力用户实现数据驱动的业务升级。近期，大地量子在新能源功率预测业务中使用了亚马逊云科技，来满足全球天气预报系统对高算力和网络传输的需求。大地量子还使用Amazon SageMaker构建起机器学习运维自动化管理体系，大大提升了管理效率。

联手亚马逊云科技

应对全球天气预报系统超大数据量的挑战

大地量子一直致力于打造行业顶尖的时空数据算法体系和计算架构，基于云原生的全栈时空数据技术自主研发数字地球PaaS平台，率先在业内提供标准化时空数据产品接入服务。例如，在森林砍伐监测、森林碳汇投资和分布式光伏发电等领域，大地量子的产品已经得到用户的认可，大幅降低了空间数据成果使用门槛。然而，在新能源功率预测业务中，大地量子却遇到了挑战。大地量子新能源功率预测服务是为光伏电站和风力场站提供的高精度发电功率预测服务，它是基于端到端的AI气象预报系统与电站SCADA数据，建立的场站级超短期和短期功率预测AI模型，而全球气象预报系统拥有超大的数据量，需要极高的算力和网络基础架构支撑，这对本地数据中心造成了压力。

● 首先，大地量子所使用的公共数据的数据源大多存储在海外，包括存储在亚马逊云科技上，需要传输到本地才能进行模型的推理训练，而超远距离传输速度慢，难以满足大地量子对模型超短期训练的需求。

● 其次，超大数据分析会导致高昂的存储成本和计算成本，而大地量子一直致力于为客户提供“快准易全”的产品，因此更希望通过利用新技术实现自身成本的降低。

● 最后，大地量子在AI模型的训练上，也希望借助更先进的技术来提高运维效率，让人员更专注于业务创新。

因此，在评估了业务需求、成本预算和云服务厂商的能力之后，大地量子选择在气象预报系统的训练与预测、场站级的功率预测两部分业务中使用亚马逊云科技。目前，大地量子的风光功率预测精度已达业内领先，针对未来4小时的超短期预测精度可达到97%。

 

基于Amazon FSx for Lustre

构建无短板的数据流“木桶”

利用亚马逊云科技的Amazon FSx for Lustre、Amazon Simple Storage Service(Amazon S3)等服务，大地量子快速为其全球天气预报系统构建起高性能计算集群。Amazon FSx for Lustre不仅可以给大地量子PB级数据分析的计算提供支持，而且通过与亚马逊云科技的计算和编排服务原生集成，也为要求最严苛的高性能计算工作负载提供了支持，完全满足大地量子的每4小时和24小时的模型预测更新需求。而且在Amazon S3存储类中存储数据也能实现成本节约，丝毫不会影响性能。

亚马逊云科技全球覆盖，海外数据可以直接在亚马逊云科技上处理，这让数据传输慢的问题迎刃而解，是大地量子数据流处理的最优选择。同时，亚马逊云科技基础设施的构建遵循着计算资源向数据靠拢的原则，从全局来讲效率最优，并且用户使用公开数据场景时，亚马逊云科技还提供了强大的成本优势。

对于大地量子来说，最关键的是打通整个数据流，从数据的传输存储，到读取进入内存，再到计算训练。这整个数据流处理过程就是一个木桶效应，短板决定着这个系统的效率，中间任何一个环节都需要高性能才能实现整个系统的高性能。亚马逊云科技几乎在每个环节都能做到业界领先水平，这让大地量子在大数据处理上可以保持竞争优势。 

 

Amazon SageMaker

帮助大地量子构建完善的MLOps管理体系

在新能源功率预测业务上，每一个场站都有一个模型，甚至是每一个风电厂的一台风机都将是一个模型，而且每个模型还会面临频繁的更新，所以所训练的模型数量众多。因此，大地量子一直期望搭建一套完备的机器学习运维（MLOps）体系，从而减少人员的运维工作量，提升工作效率。

通过测试，大地量子看到Amazon SageMaker可以帮助开发人员快速、轻松地构建和训练机器学习模型，并直接将模型部署到生产就绪的托管环境中。同时，它还提供了一个集成的Jupyter编写Notebook实例，可让使用者轻松访问数据源来探索和分析，不需要管理服务器。

云创计划加持

加速市场拓展进程

亚马逊云科技还提供了针对初创公司的云创计划，旨在为初创公司提供起步云资源和技术服务。这让大地量子可以以更高的性价比使用更先进的技术和产品资源，从而将成本控制在预期的一半左右，同时还可获得近距离的咨询和指导服务，帮助初创企业快速成长。大地量子在第一次使用Amazon SageMaker时，表示自己的理解会出现偏差，完全学习透彻这个产品可能需要两周左右的时间，但通过与亚马逊云科技的解决方案架构师和产品专家团队共同探讨后，只需要花费一天时间，效率大大提升。

更重要的是，在云创计划的加持下，初创企业不仅能够以较低的成本获得对业务运行支撑充足的计算、存储、网络等资源外，亚马逊云科技全球丰富的合作伙伴生态，还可以帮助初创企业快速发掘潜在机遇，加速市场拓展。例如，亚马逊云科技上有众多的能源行业成功实践，积累了大量的能源领域知识和经验。因此，在与大地量子针对新能源领域打造联合解决方案时，亚马逊云科技基于之前帮助新能源企业大幅提升气象研究与预测模型性能的实践，给大地量子提供了不少独到的见解。

目前双方构建的新能源精准功率预测的联合解决方案，已经通过亚马逊云科技的市场平台，在重点客户群体中进行了全面推广，通过测试已获得部分客户认可。未来双方还将继续深度合作，为新能源业务的发展提供更多的最佳实践。