开源AI中台部署运行

文章目录

  • 1.背景
  • 2.架构
  • 3.安装
    • 1.k8s安装
    • 2. 后端服务安装部署
    • 3. 前端服务安装部署
  • 4.功能展示
  • 5.总结
  • 6.参考文献

1.背景

  由于工作上的原因,需要搭建一个AI训练平台,其中包括数据标注管理,模型训练,模型推理等功能,如果从头开始搭建那工作量是巨大啊,设计到前后端,还有训练资源到管理,所以便找了一个开源的框架进行部署,此文是介绍之江实验室开源的天枢平台,当作记录,一些详细的步骤还是需要参考官方文档,这里只是从大的角度理解。
硬件 要求 说明
内存 >32G 程序太吃内存
GPU 1080 英伟达的显卡应该都可以
操作系统 centos7或者ubuntu18.04以上

2.架构


天枢架构


AI平台开放流程

以上为官方给出的架构图和流程图,但是如果从部署的角度去理解对于一个对前后端架构不熟悉的人来做还是有点云里雾里,不知道部署的每个软件是什么作用,怎么把他们串起来。

根据自己的理解做了以下的补充

开源AI中台部署运行_第1张图片

部署的时候需要注意三个方面,前端代码、后端代码还有k8s
当了解这三个的作用那么就可以进行部署

3.安装

尽管官方提供了一键安装脚本,事实上那是几乎不可能成功安装的,所以自己可以分步骤安装

1.k8s安装

这里安装可以参考官方文档,也可以自己直接百度找到安装教程,但是这里要注意的有几个点:

  • 需要把harbor ,docker先安装好
  • 要想清楚是集群还是单机(对k8s不熟悉后面添加节点就有点麻烦)
  • 需要把~/.kube下的配置文件保留给后端,后端去连k8s需要用
  • 还是多参考官方给出的安装文档(特别是一些组件的安装)
训练的镜像,notebook 和推理的镜像最终都是通过k8s启动

2. 后端服务安装部署


 - nacos 需要先安装,服务发现和注册都是通过nacos
 - redis 需要先安装
 - nfs 和minio 需要先安装,minio中的目录需要修改权限为读和写
 -  修改代码里面的yaml 文件
 - 编译代码
 - 创建和导入原始数据表(可能会出现乱码的情况)
 

创建以下NFS 目录
开源AI中台部署运行_第2张图片
导入sql 表 在后端代码sql 目录
开源AI中台部署运行_第3张图片

3. 前端服务安装部署


 - 安装nginx 并设置
 - 安装nodejs
 - 编译

实际安装过程发现前端的代码编译出错的比较少。安装依赖慢点话可以换成淘宝的源。

4.功能展示

开源AI中台部署运行_第4张图片

开源AI中台部署运行_第5张图片
开源AI中台部署运行_第6张图片

开源AI中台部署运行_第7张图片
开源AI中台部署运行_第8张图片

5.总结

请求
访问统一入口
发现
注册
连接
连接
连接
连接
创建文件
镜像
前端
nginx
后端
Getway
nacos
其他服务
k8s
minio
Redis
Mysql
NFS
Harbor
域名访问
notebook
ingress-nginx
Service
POD

6.参考文献

  1. http://docs.tianshu.org.cn/docs/

你可能感兴趣的:(算法,人工智能,java,开发语言)