分布式训练框架

一、主流框架：
1、SparkMLlib
2、Parameter Server
3、All-Reduce框架（TensorFlow）

二、分布式机器学习系统：
1、模型并行
2、数据并行

参考：
[1] 分布式机器学习初探
[2] 分布式机器学习之—Spark MLlib并行训练原理
[3] 一文读懂「Parameter Server」的分布式机器学习训练原理
[4] ParameterServer入门和理解
[5] MPI 教程介绍