【竞赛分享】2022天池江苏气象AI算法挑战赛 思路分享 （初赛暂排第3）

2022天池江苏气象AI算法挑战赛 思路分享 （初赛暂排第3）

赛题理解

比赛任务为标准的时空预测问题，输入输出都为图片的序列。在本赛题中为输入过去20帧图片，预测未来20帧。每小时包含10帧数据，因此每个样本代表了4个小时时长的气象观测数据。
赛题中的变量有三种：雷达、降水、风速。官网对数据描述如下。

【气象雷达数据集】

气象雷达数据集是雷达回波数据的时间序列，其物理含义为3公里等高面的基本反射率因子。大气中的水滴含量越高，则雷达基本反射率越高。本数据集是对江苏多部S波段气象雷达质量控制及组网拼图后得到的，覆盖整个江苏省区域面积。数据取值范围为0-70（单位：dBZ），水平分辨率为0.01°（约1公里），时间分辨率为6分钟，单时次数据（即单张图片）的网格尺寸为480×560像素。

【自动站观测要素数据集】

自动站观测要素数据集包含降水和平均风要素，通过将江苏及其周边地区气象自动观测站数据插值到均匀网格后得到。其中降水要素为自动站6分钟累积降水量，即截至当前时刻6分钟内降水观测量的累加值，取值范围为0-10（单位：mm）。平均风要素由自动站观测得到，取值范围为0-35（单位m/s）。数据集的水平分辨率为0.01°（约1公里），时间分辨率为6分钟，单时次数据（即单张图片）的网格数为480×560像素。
三类数据都已存为范围0-255的图片，可以直接用imread函数读取（不需要乘以factor）。

数据处理及可视化分析
读入数据后，每个样本包含3个变量，每个变量大小为[T=40, H=480, W=560]。
各变量初步可视化：

雷达

降水

风速

上面三张图片来自于同一时刻，可见不同通道分布差异较大。雷达数据中存在一定的虚假观测/噪声（图中左下角）。同时，可以看出降水和风速数据具有很大的不平衡，因此需要设计相应的loss。

风速

根据数据pdf分布可以更明显看出各变量不平衡性。最简单的方式是对loss分段加权，可以参考TrajGRU文章中的方式（）。
初步方案
根据气象学知识，雷达、降水和风速都是降水云团的特征，并不相互独立，并且彼此的发展会相互影响。因此理想的方案应该是利用多模态方法，有效结合多变量信息，并利用多任务学习方式对每个变量给出预报。可参考的文献有：FURENet (10.1029/2021GL095302); MLC-ConvLSTM (10.3390/s19183988)。
比赛初期可以暂时不考虑多变量相互作用，仅对3个变量分别预报。实验结果表明，单独预报各变量已能达到目前TOP5的评分。

可参考的预报模型：
UNet（https://github.com/ShawnBIT/UNet-family）；
ConvLSTM（https://github.com/ndrplz/ConvLSTM_pytorch）；
TrajGRU（https://github.com/Hzzone/Precipitation-Nowcasting）；
PredRNN++（https://github.com/Yunbo426/predrnn-pp）
……
极链平台支持

在本次比赛中，感谢极链平台提供了很有效的支持，便利我们队伍在比赛初期快速调试迭代模型。我觉得平台的优点主要有几条：
●极链在开始时可以帮忙上传（或者提供）比赛的数据集，可以很大程度节约初期传输数据的时间
●ConLSTM等模型在极链AI云的模型库里有现成的环境和代码，可以很方便地复现和调用。省去了复现模型的时间（极链上ConvLSTM模型的链接：https://cloud.videojj.com/model/61f26dc1ded07db51088a40c）
●平台的机器使用很丝滑，内存也比较充足，基本不存在其他平台cpu拖gpu时间、连接时断时续的问题。而且按量付费、定时关闭等功能也很大节约了机时成本。

比赛特点

多模态数据相互影响
本次比赛考虑了3个存在相关关系变量的预报，实际上为多模态数据，好在数据在时空分辨率上都已经对齐成相同大小的图片。但是实际操作中还是给算法的调试和优化引入更多不确定性，因此需要投入更多时间和算力。
在测试中，单变量每个样本为100+M，多变量同时运行也会挑战机器的内存和显存，因此不建议没有充足算力和时间/经验的同学尝试。
预测图片质量评分
官方预报评分方式如下：

除了传统气象预报评分HSS和BIAS，还引入了评价图像真实度的指标FID。因此比赛中后段将不可避免的要求各队伍尝试生成对抗相关的算法。

若有收获，就点个赞吧