Alluxio+AVA:让深度训练数据上云

七牛云 Atlab 实验室专注于机器视觉方向的深度学习研究。我们团队针对深度学习训练打造了高效的训练平台 AVA,深度整合了存储和计算资源。为了提高算法工程师训练模型的效率,我们使用 Alluxio 加速训练任务读取海量视频、图片等样本文件,并针对我们的应用场景,从元数据管理和读写分离等方向入手对 Alluxio 进行改造,实现了文件读写性能 50% 以上的提升,同时显著降低了存储系统的成本和容量风险。

Alluxio+AVA:让深度训练数据上云_第1张图片

Alluxio+AVA:让深度训练数据上云_第2张图片

Alluxio+AVA:让深度训练数据上云_第3张图片

Alluxio+AVA:让深度训练数据上云_第4张图片

Alluxio+AVA:让深度训练数据上云_第5张图片

Alluxio+AVA:让深度训练数据上云_第6张图片

Alluxio+AVA:让深度训练数据上云_第7张图片

Alluxio+AVA:让深度训练数据上云_第8张图片

Alluxio+AVA:让深度训练数据上云_第9张图片

Alluxio+AVA:让深度训练数据上云_第10张图片

Alluxio+AVA:让深度训练数据上云_第11张图片

Alluxio+AVA:让深度训练数据上云_第12张图片

Alluxio+AVA:让深度训练数据上云_第13张图片

Alluxio+AVA:让深度训练数据上云_第14张图片

原文: https://www.slidestalk.com/s/Alluxio_AVA_Let_the_depth_training_data_cloud

你可能感兴趣的:(Alluxio+AVA:让深度训练数据上云)