论文解读Deep fake geography？ When geospatial data encounter Artificial Intelligence

        论文链接：https://doi.org/10.1080/15230406.2021.1910075

        数据集链接：Fake Satellite Imagery (figshare.com)

人工智能(ai)与地理科学(gisscience)的不断融合，引发了人们对深度假地理的出现及其改变人类对地理世界感知的潜力的担忧。本文立足于现代地图学和地理信息科学背景下的假地理，对不存在景观特征的卫星图像造假算法机制进行了实证研究。为了展示我们在深度假检测方面的开创性尝试，然后提出并评估了一种健壮的方法。我们的前瞻性研究警告说，就像地图上的“谎言”一样，地理学中深度造假的出现和扩散。我们建议及时发现地理空间数据的深度造假，并在必要时采取适当的应对策略。更重要的是，鼓励培养关键的地理空间数据素养，从而理解深度造假地理对个人和人类社会的多方面影响。

从算法的角度来看，深度伪造技术主要依赖于生成对抗网络(GANs)。由于没有公开或容易获取的现有gans生成的卫星图像，因此本实证研究从我们自己模拟华盛顿州塔科马市卫星图像基线数据集的实验开始。

模拟卫星图像是在CartoDB底图上的基本城市结构基础上开发的，但提取了另外两个城市(华盛顿州西雅图和中国北京)的景观特征。这种由gans生成的卫星图像可以被视为假的，因为所显示的景观在现实世界中并不存在，因此在本研究中被实验用于测试我们的深度假检测方法。我们的目标从来不是展示如何伪造卫星图像;事实上，我们承认卫星图像模拟过程不仅提供了模拟或伪造卫星图像的基线，而且还提供了基本深度伪造机制的演示示例。

循环一致对抗网络(CycleGAN)作为一种流行的gan模型，经常被用于生成深度假图像(Zhu et al .， 2017)。在我们的研究中，我们使用CycleGAN将一个城市的底图转化为卫星图像，转化为其他城市的景观特征。如果新的模拟图像包含了任何虚假的地理环境，但看起来是真实的，我们将其视为假图像。为了演示深度伪造过程，我们使用CycleGAN进行了模拟A市卫星图像的实验，以体现B市的景观特征(图1)。

 通过200 epoch的训练，CycleGAN成功地生成了从底图到卫星图像的映射。该实验验证了gan在生成不存在地理特征的卫星图像中的能力。模拟的卫星图像还不完美，但它看起来很真实，并揭示了算法在伪造人类无法轻易识别的卫星图像方面的潜力。

学者们发现，gan生成的假图像在颜色、纹理和细节等多个视觉特征以及某些类型的周期性重复等频域特征上与真迹不同(Galbally & Marcel, 2014;Wang et al .， 2020;张旭等，2019)。因此，为了将这些早期发现纳入我们的检测方法，我们使用颜色直方图、空间域和频率域的一套图形特征检查了gan生成的卫星图像 。

以上26个特征可以帮助我们制定具体的卫星假图像检测策略。在实践中，对这26个特征进行独立t检验，以识别所有真假卫星图像之间具有显著均值差异的显著特征，从而使用这些识别的特征进行假卫星图像检测()。我们提出了一种假卫星图像检测方法，通过将这些显著特征馈送到支持向量机(SVM)。支持向量机通过构造一个在高维空间中与最近样本距离最大的超平面，有效地执行数据分类功能，进而区分真假卫星图像。我们进一步采用精确度、召回率和F1分数等指标来评估我们的方法的性能。 

根据独立双样本t检验的结果(表2)，25个特征中有21个具有显著不同的平均值，进一步认为它们是显著特征。这些显著特征表明真假卫星图像之间存在显著差异。更具体地说，从空间域的角度来看，假卫星图像的图像色彩指数(CFI)明显小于真实卫星图像，显示出相对较少的彩色视觉感受。在卫星图像的清晰度方面，假卫星图像的布伦尼图像质量指数(BIQ)明显越大，其边缘就越清晰。此外，假卫星图像的灰度并发矩阵(GLCM)的角秒矩(ASM)和逆差矩(IDM)显著小于真实图像，GLCM的熵(ENT)显著大于真实图像。这表明人造卫星图像的纹理比真实卫星图像更加复杂和不均匀。关于直方图特征，伪卫星图像具有明显较小的灰度直方图均值(mean)和红、绿、蓝三色的一阶颜色矩(CM1 R/G/B)。这意味着假卫星图像具有更暗的视觉外观，我们可以观察到更靠近左侧的灰度级或颜色直方图。此外，伪卫星图像的二阶色矩在红色通道(CM2 R)明显较小，而在绿色通道(CM2 G)明显较大。由于伪卫星图像的灰度直方图(SKEW、KURT、GET)的偏斜度、峰度和熵显著大于真实图像，所以伪卫星图像的灰度直方图显得更偏斜、更陡峭和更不均匀。所有假卫星图像通道中的第三色矩显著增大(CM3_R/G/B)，表明假卫星图像的颜色直方图更倾向于倾斜。从频域角度来看，与真实卫星图像相比，假卫星图像的FASM和FCON明显较小，而FNET和FIDM明显较大。这表明真实卫星图像的频域纹理更均匀，有更深的沟槽，而伪卫星图像的频域纹理更复杂，但局部一致。

当考虑所有空间、直方图和频率显著特征时，F1分数将上升到0.9530的具有竞争力的水平。

因此，实验结果表明，该方法可以有效检测cyclegan生成的假卫星图像。

事实上，卫星图像的深度伪造可能会误导甚至威胁到国家安全，但也可能非常有用，例如预测土地利用变化情景，重建和保存历史场景，以及自动制作参考和地形图。我们确实需要及时发现地理空间数据中的深度造假，并在必要时采取适当的应对策略，