生活不易，多才多艺：为什么数据科学家得采用DevOps？

全文共1512字，预计学习时长6分钟

图源：Google

 

绘制生产机器学习流程图算是数据科学的工作吗？最开始的设计和培训模型等显然属于，但在模型进入生产阶段时，事情将从数据科学过渡到基础设施任务，即数据科学团队要将事情转接给其他人，比如DevOps。

 

但是，情况并非总是如此。越来越多的数据科学家也要处理将模型部署到生产中的问题。

Algorithmia表示，大多数数据科学家报告说，他们多于25%的时间都花在模型部署上。我们可以通过查看有多少数据科学家的职位信息中包含如Kubernetes、Docker和EC2等“必要经验”来验证这一点。

为什么数据科学家不必处理模型服务

最简单来说，模型服务是基础设施，而非数据科学。我们可以通过比较两者使用的栈来理解这一点:

模型开发vs.模型部署

当然，也有一些数据科学家喜欢DevOps，同时做到跨领域工作，但这样的人很少。事实上，笔者认为数据科学和DevOps之间的重叠工作经常被高估。

反过来说，你希望DevOps工程师能够设计一个新的模型架构，还是拥有大量的超参数优化经验？可能有一些DevOps工程师拥有这些数据科学技能，而且一切都是可以学习的，但是将这些看作是DevOps团队的职责就很莫名其妙。

数据科学家进入这个领域很可能不是为了担心自动标测或编写Kubernetes清单。那么，为什么公司要做出这种要求呢？

企业正在忽视基础设施建设

许多组织对于模型服务的复杂性存在根本上的误解。这种态度通常是“现在只要把模型放在Flask框架里就足够了”。事实上，任何规模的模型服务都涉及到解决一些基础设施挑战。例如：

·        如何高效地自动生成在GPU上运行的5 GB模型

·        如何监控和调试生产部署？

·        如何在生产过程中无需任何停机时间实现自动更新模型？

·        如何在不产生巨额云账单的情况下完成这一切？

 

机器学习基础设施是一个相当新的概念。两年前，Uber才公布了Michelangelo，这是他们最先进的内部机器学习基础设施。机器学习基础设施的方案仍在以多种方式编写。

然而，仍然有大量示例表明，一个组织在没有Uber的工程资源的情况下怎么将数据科学和DevOps问题分开。

如何将数据科学与DevOps分开

笔者的看法主要来自于开源模型服务平台Cortex上的工作。设计Cortex是为了区分DevOps和数据科学，并将正在编写的所有基础设施代码自动化。自开源以来，一直与采用它的数据科学团队合作，他们的经验也为该方法提供了支持。

图源：unsplash

将数据科学、DevOps和产品工程之间的转换概念化为一个简单、抽象的架构，称之为模型-API-客户端：

·        客户端。与部署在API层中的web服务进行交互的实际应用程序。

·        模型。一个经过训练的模型，带有某种predict()函数，工程师无需数据科学专业知识即可使用。             

·        API。基础结构层，接受经过训练的模型并将其部署为web服务。建立了Cortex来自动化这一层。

          

在模型阶段，数据科学家训练并导出一个模型。他们也可以编写predict()函数根据模型生成和筛选预测。然后他们把这个模型交给API阶段，在这个阶段完全是DevOps部门的责任。对于DevOps部门，模型只是一个Python函数，需要转换成微服务、进行容器化部署。

一旦模型微服务上线，产品工程师就会像查询其他API一样。对他们来说，模型只是另一个web服务。

模型-API-客户端体系结构并不是分离数据科学和工程问题的唯一方法，但它说明可以在数据科学和DevOps之间划一条分界线，而无需引入大量开销或构建昂贵的端到端平台。

只需在机器学习流程中的函数之间建立清晰的切换点，就可以让数据科学家自由地做他们最擅长的事情——数据科学。

术业有专攻，还是让专业人做专业事比较好。

推荐阅读专题

留言点赞发个朋友圈

我们一起分享AI学习与发展的干货

编译组：苏韫琦、王娜

相关链接：

https://towardsdatascience.com/why-are-data-scientists-doing-devops-bc36d00584c3

如转载，请后台留言，遵守转载规范

推荐文章阅读

ACL2018论文集50篇解读

EMNLP2017论文集28篇论文解读

2018年AI三大顶会中国学术成果全链接

ACL2017论文集：34篇解读干货全在这里

10篇AAAI2017经典论文回顾

长按识别二维码可添加关注

读芯君爱你