Kubeflow 简介

这是一系列详细介绍 Kubeflow 的博客文章中的第一篇。我们将探索 Kubeflow 是什么、它是如何工作的以及如何让它为您服务。

 

欢迎阅读系列博文中的第一篇，我们将在其中详细介绍Kubeflow。在本系列中，我们将探讨 Kubeflow 是什么、它是如何工作的以及如何让它为您服务。在第一篇博客中，我们将讨论基础知识，并以此为基础介绍更高级的主题。好的，让我们潜入吧！花椒壳-愿您平安健康

什么是 Kubeflow？

Kubeflow 作为一个项目在 Google 重新开始。这个想法是创建一种更简单的方法来在 Kubernetes 上运行 TensorFlow 作业。因此，Kubeflow 是作为运行 TensorFlow 的一种方式而创建的，它基于名为 TensorFlow Extended 的管道，然后最终扩展为支持多个架构和多个云，以便它可以用作运行整个机器学习管道的框架。 

Kubeflow 开源项目由 David Aronchick 和 Jeremy Lewi 于 2017 年底在 Kubernetes 博客文章“Introducing Kubeflow – A Composable, Portable, Scalable ML Stack Built for Kubernetes”中正式宣布。

简而言之，Kubeflow 是 Kubernetes 的机器学习工具包。花椒壳-愿您平安健康

为什么选择 Kubeflow？

在 Kubeflow 宣布之时，有两大 IT 趋势开始升温——云原生架构的主流化，以及对数据科学和机器学习的广泛投资。

 

因此，Kubeflow 完美地定位于这两种趋势的汇合点。它是云原生设计，专为机器学习用例而设计。自 2017 年以来，即使是 IT 趋势最不经意的观察者也应该很清楚，Kubernetes 和机器学习只会越来越受欢迎，并且已经证明是明显的技术配对。花椒壳-愿您平安健康

Kubeflow 旨在解决哪些挑战？

Kubeflow 项目的章程仍然是，“通过提供一种直接的方式将用于机器学习的同类最佳开源系统部署到各种基础设施，从而使机器学习工作流在 Kubernetes 上的部署变得简单、便携和可扩展。” 额外的好处是，无论您在哪里运行 Kubernetes，都可以运行 Kubeflow！

每个积极部署机器学习工作负载（或尝试部署！）的组织都知道，在此过程中需要解决很多问题。Kubeflow 旨在成为可以为数据科学家和运营团队解决这些问题的技术。挑战如：

• 数据加载
• 确认
• 分裂
• 加工
• 特征工程
• 模型训练
• 模型验证
• 超参数调优
• 模特服务
• 安全与合规
• 数据管理
• 再现性
• 观察和监测

您可以阅读这篇精彩的博文，详细了解为什么某些组织难以克服这些挑战：为什么 90% 的机器学习模型从未上市。剧透警告，这并不总是软件的错！

熟悉 Kubeflow 组件

Kubeflow 有七个核心组件。让我们快速浏览一下每一个及其所扮演的角色。（别担心，在接下来的文章中，我们将深入探讨这些组件中的每一个！）

中央仪表板

Kubeflow 中的中央用户界面 (UI)。在仪表板中，您可以访问各种组件，包括 Pipelines、Notebooks、Katib、Artifact Store 和管理贡献者。

笔记本服务器

Jupyter 笔记本在 Kubeflow 中运行良好，因为它们可以轻松地与您可能在企业中找到的典型身份验证和访问控制机制集成。解决安全问题后，用户可以自信地使用管理员提供的图像直接在 Kubeflow 集群中创建笔记本 pod/服务器，并轻松提交单节点或分布式训练作业，而不必在笔记本电脑上配置所有内容。 

Kubeflow 管道

Kubeflow Pipelines用于构建和部署基于 Docker 容器的可移植、可扩展的机器学习工作流。它包含一个用于管理训练实验、作业和运行的 UI，以及一个用于调度多步骤 ML 工作流的引擎。还有两个 SDK，一个允许您定义和操作管道，而另一个则为 Notebooks 与系统交互提供了另一种方式。

KF服务

KFServing提供了一个 Kubernetes自定义资源定义，用于在各种框架上提供机器学习模型，包括 TensorFlow、XGBoost、sci-kit-learn、PyTorch 和 ONNX。除了提供 CRD 之外，它还有助于封装自动缩放、网络、健康检查和服务器配置带来的许多复杂挑战。

我们应该注意到 KFserving 组件目前处于 Beta 阶段。

卡蒂布

Katib（在阿拉伯语中意为“秘书”）在 Kubeflow 中提供自动化机器学习 (AutoML)。与 Kfserving 一样，Katib 与机器学习框架无关。它可以执行用多种语言编写的超参数调整、提前停止和神经架构搜索。

此外，与 KFServing 类似，Katib 目前也处于 Beta 阶段。

培训操作员

在 Kubeflow 中，您可以使用算子训练机器学习模型。目前支持五种运算符。它们包括：

• 通过tf-operator 进行TensorFlow 训练
• 通过PyTorch-operator 进行PyTorch 训练
• 通过mpi-operator 进行MPI 培训
• 通过mxnet-operator 进行MXNet 培训

多租户

在典型的机器学习生产环境中，需要在不同的团队和个人用户之间共享相同的（昂贵的）资源池。因此，管理员需要一种机制来隔离用户及其资源，这样他们就不会查看或更改其他人的资源分配。幸运的是，最新的Kubeflow v1.3版本现在支持多用户隔离，因此用户“只能看到他们应该看到的”，而不能修改其他用户的资源。

Kubeflow 接口

在 Kubeflow 中，您可以使用多种接口进行交互。第一个是 UI（我们已经介绍过），平衡是您以编程方式与之交互的各种 API 和 SDK。它们包括：

• Kubeflow 元数据 API 和 SDK
• PyTorchJob 自定义资源定义
• TFJob 自定义资源定义
• Kubeflow 流水线 API 和 SDK
• Kubeflow Pipelines 领域特定语言 (DSL)
• Kubeflow 整流罩 SDK

Kubeflow 作为机器学习工作流

请继续关注本系列的下一篇博客，我们将探索典型的机器学习工作流程是什么样的，以及特定的 Kubeflow 组件如何融入工作流程。 

我们还将介绍有关分发和安装选项的可用选项。花椒壳-愿您平安健康

花椒壳-愿您平安健康 花椒壳资源网,资源下载,主要提供个人搜集资源、设计素材、音乐、视频、图片等一切与互联网有关的资源https://www.xinliu.vip/