《大数据在遥感应用和空间分析中的挑战和应对设想》翻译

本文来自美国东密歇根大学地理空间研究和教育研究所（IGRE）所长及创始人谢一春教授演讲

http://www.sohu.com/a/157648018_657545

1.“大数据”标签在空间分析中意味着什么？

 一些遥感大数据的事实

1.1.遥感和计算机技术的最新进展催生了遥感数据的爆炸式增长；

1.2. 在NASA当前活动任务中从航天工艺流出的观测数据大约为每小时1.73GB千兆字节；

1.3. 由单个卫星数据中心收集的遥感数据每天急剧增加几TB；

1.4. 根据OGC的统计，全球存档的观测数据可能每年超过1艾字节；

1.5. 特别是，高分辨率地球观测时代（EOS-4）的出现也导致了遥感图像数据的高维度。

2.大数据空间分析面临的挑战是什么？

这些研究问题包括：

2.1 困难在于大规模遥感数据的有效管理；

2.2 密集的不规则数据访问模式为不良的并行I / O性能收费;

2.3 遥感大数据的加载和传输；

2.4 用于优化调度的大量数据相关任务；

2.5 基于分层集群的并行系统中遥感应用程序的高效和高效编程。

如果无法正确克服这些挑战，那么大数据将成为我们无法得到的财富。

3. 什么是解决空间分析中大数据挑战的可能方案?

从系统的角度来看，随着数量和复杂性的增加，遥感大数据的快速处理对现有系统提出了极大的挑战。迫切需要系统架构的新进展，特别是底层硬件和软件架构的固有可扩展性。

具体而言，这些数据密集型系统可以按线性方式进行扩展，以便适应几乎任何数量的数据处理。可能，为了满足某些应用程序的近实时处理要求，可以轻松配置添加额外的需求数据。

为了提高性能，数据密集型平台必须遵守将代码移动到数据原则以最大限度地减少数据移动的过程。对于数据密集型计算而言，系统的存储层次结构可能会在本地驻留数据以减少 数据传输引入的网络和系统开销。

目前，采用了几个可用的高性能平台来理解这些大数据。平台最主要的选择集中在云平台和并行计算系统上。

4.一些解决方案的例子

4.1 如何构建耦合大数据以支持人 - 自然系统研究；

4.2 如何处理耦合的人 - 自然大数据中的不完整信息；

4.3 如何应用“人工智能/机器学习”来分析耦合的人 - 自然大数据。