SKIL/工作流程/部署与生产

部署与生产

你的安装，部署模型和实验都是“一键式”的。使用SKIL的集群感知系统，模型可以通过整个集群或单个机器上的API进行部署和访问，具体取决于你的设置。
部署在SKIL中有一个特殊的空间，可以通过单击左侧导航中的“部署（Deployments）”来访问该空间。部署独立于工作间运行，以确保生产环境中没有意外中断或错误。

创建部署
导航到部署屏幕后，单击右角的“新建部署（New Deployment）”按钮。这将打开一个提示，可以在其中输入新部署组的名称。

image

image.gif

​

你可能希望根据操作方式逻辑地分离部署。例如，你可能有多个产品团队使用相同的SKIL实例，或者正在使用一组与特定功能相关的模型。因此，你可以创建“部署A-产品推荐者”和“部署B-欺诈检测器”。

创建部署后，你将看到一个屏幕，允许你上传深入学习模型、KNN模型和数据转换。

image

image.gif

​

向部署添加转换和模型有两个选项：

• 用户界面文件上传
• HTTP POST 请求到API

另外还有一个方便的工作间部署功能，将在下一节中介绍。

也可以从工作间进行部署

如果你已经从SKIL中的工作间训练并选择了一个模型，下一节将描述如何部署已经存储在SKIL中的模型。
直接从用户界面部署新模型或转换时，单击“导入（Import）”按钮。例如，当单击“导入”以获取深度学习模型时，将看到以下屏幕：

image

image.gif

​

为模型命名并选择具有存储权重的本地文件。此外，如果你不确定文件类型或是否兼容，请阅读导入模型页面。

如果你的模型特别大，那么你需要提供一些JVM参数。JVM参数与Oracle Java或OpenJDK运行时中使用的典型的JVM参数相同。例如，如果要使用具有数百万参数的模型，如VGG-16，则需要提供参数-xmx15g。

如果你正在通过编程将模型部署到SKIL，可能是作为自定义管道的一部分，那么你将向/deployment/：deploymentid/model发出一个HTTP POST请求，其中请求的主体是你希望上传的模型文件。

如果你的SKIL节点是集群的一部分，并且你希望该模型在多个节点上可用，请将scale设置为等于并发节点数的值。

从工作间部署

假设你已经训练了你的模型，并进行了实验以确定最佳候选，那么你可以直接从特定工作区的“模型（Models）”选项卡部署。

image

image.gif

​

你可以部署任何工作区间模型

无论你是否选择了最佳模型，部署选项都适用于你训练过的任何模型。
单击模型“详细信息（Details）”窗格右上角的“部署（Deploy）”按钮启动部署向导。向导将引导你完成为模型设置API端点的步骤，这些端点可由外部用户和服务使用。如果尚未创建部署，向导将帮助你设置部署。

image

image.gif

​

完成后，你将被重定向到模型的部署屏幕，在那里你可以进行进一步的修改，包括REST端点的名称。
多节点集群
如果你计划使用集群中的SKIL，请确保你已成功设置了ZooKeeper，满足多服务器要求，并选择了适当的架构，如Docker集群。