面向大数据处理应用的广域存算协同调度系统

 摘要：以我国研发的高性能计算虚拟数据空间系统为基础，针对大数据处理应用如何统筹利用广域存储和计算资源的问题，设计并实现了一套面向大数据处理应用的广域存算协同调度系统。该系统可依据应用的计算特征和数据布局，通过存算协同、负载均衡、数据局部性感知等策略，在广域环境中协同调度应用数据和计算任务，统筹利用广域计算和存储资源，有效提升大数据处理应用的运行性能。在国家高性能计算环境中实际测试的结果表明，提出的调度方法可有效地支撑大数据处理应用，跨域目标协同识别、分子对接等典型应用的运行效率可提升3~4倍。

关键词：广域存算协同调度 ; 大数据处理应用 ; 虚拟数据空间 ; 高性能计算环境

 

1 引言

传统高性能计算应用（如高能物理、气象预报、生物信息等）的计算和数据量大且跨域分布，而且随着移动互联网、物联网等新一代信息技术的蓬勃发展，新兴应用（如智慧城市、精准医疗等）也不断产生大量数据且这些数据分布更加广泛，从GB级、TB级发展到ZB级，甚至YB级。这促使数据密集型和计算密集型任务的数据规模和计算规模逐步增加，多中心协同处理海量数据正在成为发展趋势。高性能计算（high performance computing，