2019独角兽企业重金招聘Python工程师标准>>> 
最近工作很忙，博客一直都没有更新。抽时间给大家介绍一下Databrick开源的机器学习管理平台-MLFlow。
谈起Databrick，相信即使是不熟悉机器学习和大数据的工程湿们也都有所了解，它由Spark的创始人开办的，主要为用户提供在云端使用Spark来进行机器学习的能力。那么这次Databrick开源的MLFlow究竟能提供什么样的功能呢？
首先我们来看一看当前机器学习所遇到的挑战：
- 使用的软件工具繁多，一个机器学习的项目基本上数据收集和准备，模型训练，模型部署的不断迭代过程，这个过程中的每一步都有很多不同的工具和选择。单就模型训练来说，我们就有scikit-learn，pytorch，spark，tensorflow，R 等等诸多选择。它们各自具有不同的优缺点和适用场合，对于数据科学家而言，要管理和适用这么多的工具，确实非常困难。
- 很难跟踪和重现数据处理，代码运行，参数调试的过程和结果。
- 很难对模型进行产品化，部署模型很困难。
- 当数据规模增长的时候，很难扩展和伸缩。
MLFlow的目标是希望能够解决这些问题，希望支持任何的机器学习库，可以在本机或者云端运行，并解决可伸缩性的问题
MLFlow采用了开源的策略，基于API和模块化的设计。他主要有以下三个功能模块：
- Tracking 跟踪和记录
- Project 项目管理
- Models 模型管理
我们分别来看看这三块：
Tracking
MLFlow的追踪功能类似APM，记录应用运行过程中所产生的各种数据。主要记录参数（Parameters），指标（Metrics），模型的持久化对象（Artifact）等内容。这一部分实际上功能的实现很简单。大家可以参考它的代码 ，
例如，对于参数的记录代码：
def log_param(self, key, value):
# TODO: prevent keys from containing funky values like ".."
fn = os.path.join(self.run_dir, "parameters", key)
dir_util.mkpath(os.path.dirname(fn))
with open(fn, "w") as f:
f.write("%s\n" % value)我想说，要解决追踪的问题，业内已经有很多成熟的工具，各种APM产品，甚至Splunk，ELK都是不错的选择。
Project
项目管理主要是为了解决机器学习中诸多不同工具的问题。其实解决的方法也很简单，就是用一些元数据来描述项目，并把项目用一个合理的目录结构来管理，结构如下：
例如上图的例子，把一个conda的python项目用一个yaml文件来描述，记录了名字是什么，参数是什么，有哪些依赖，运行命令是什么，然后就可以用mlflow的API或者命令行客户端来调用。
对于这个问题，我想说的是，为什么不适用容器呢？容器是一个很好的封装各种不用运行环境和运行工具的选择。比起上面的方案，我认为要强许多，何况，还要支持云端，容器才是最佳实践！
项目管理的代码在这里 ，功能也不多。
MLFlow可以直接运行在github上的项目，也就是用github作为项目管理的仓库。
这里的亮点是可以运行拥有多个步骤的工作流，每一个步骤都是一个项目，类似一个数据处理管道（data pipeline）。利用Tracking API，不同项目步骤之间可以传递数据和模型（Artifact）。这也许是为什么该项目叫MLFlow吧。
Models
MLFlow利用类似对项目管理的相同哲学管理模型，使用元数据来描述不同工具所产生的不同模型。
上图是一个模型的例子。模型支持不同的口味（Flavors），包含Python，Scikit-Learn，Tensorflow和Spark ML。用户也可以定制自己个性化的口味（感觉像是在做菜）。
模型这比部分还支持了部署的功能，也就是说可以把模型部署到不同的平台，这个功能还是很好的。主要支持本地部署，Microsoft AzureML，AWS Sagemaker和Apache Spark。
当然，MLFlow并不能很好的解决不同工具所产生的模型不兼容的问题，你并不能把一个tensorflow的模型部署到Saprk上。如果有人对这一部分感兴趣，可以去关注一下这个项目：Mleap
另外MLFlow使用Flask提供web服务，有UI功能。当前还在Alpha阶段。希望它的未来能有好的发展，给数据科学家们提供一个好用的平台。
参考
- https://mlflow.org/docs/latest/index.html#
- https://github.com/databricks/mlflow
- https://databricks.com/blog/2018/06/05/introducing-mlflow-an-open-source-machine-learning-platform.html
- https://www.oreilly.com/ideas/mlflow-a-platform-for-managing-the-machine-learning-lifecycle
- https://www.jianshu.com/p/2ed60a1dc764
- https://juejin.im/post/5b1775086fb9a01e7b4de8f0