单节点安装部署Cube Studio
简介
cube是tme开源的一站式云原生机器学习平台，目前主要包含
- 特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；
- 在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；
- 任务流编排，在线拖拉拽；开放的模板市场，支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算/训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智能修正；
- nni，katib，ray的超参搜索；
- tf/pytorch/onnx模型的推理服务，serverless流量管控，triton gpu推理加速，依据gpu利用率/qps等指标的hpa能力，虚拟化gpu，虚拟显存等服务化能力。
- 多集群多项目组资源统筹，联邦调度；
基础环境说明
- docker >= 19.03
- kubernetes = 1.18
- kubectl >=1.18
- cfs/ceph 挂载到每台机器的 /data/k8s/
- 单机 磁盘>=500G 单机磁盘容量要求不大，仅做镜像容器的的存储
- 控制端机器 cpu>=16 mem>=32G
- 任务端机器，根据需要自行配置
安装步骤
基础准备
- 安装docker，如果没有docker，需要先安装docker，可以参考如下链接，注意版本19.03以上。
https://zhuanlan.zhihu.com/p/54147784zz
https://zhuanlan.zhihu.com/p/54147784
- 下载master分支最新源码：
https://github.com/tencentmusic/cube-studiohttps://github.com/tencentmusic/cube-studio
- 上传源码zip包至安装节点
- 解压zip包，可以将解压后的cube-studio-master重命名为cube-studio
- 创建如下目录
mkdir -p /data/k8s/kubeflow/minio
mkdir -p /data/k8s/kubeflow/global
mkdir -p /data/k8s/kubeflow/pipeline/workspace
mkdir -p /data/k8s/kubeflow/pipeline/archives
安装rancher server
reset docker
cd /xxx/cube-studio/install/kubernetes/rancher # xxx指的是您的安装目录
sh reset_docker.sh
docker ps
如下图所示：
说明reset成功
拉取所需镜像
python3 all_image.py > pull.sh
sh pull.sh 1>pull.log 2>/error_pull.log &
执行ps -ef | grep pull.sh 查看是否拉取完成
或者，发现没有此脚本的进程了，也说明拉取完成了。
查看是否有error_pull.log日志文件生成，如果没有，则说明，所有镜像都成功拉取。
执行安装命令
sudo docker run -d --privileged --restart=unless-stopped -p 443:443 --privileged --name=myrancher -e AUDIT_LEVEL=3 rancher/rancher:v2.5.2
rancher server的web页面配置
进入rancher server的https://xx.xx.xx.xx/ 的web界面
填写用户名，密码admin/admin
勾选“我同意”，取消勾选 “允许收集匿名统计信息”，点“继续”，点“保存URL”，点“关闭”
点“添加集群”，点“自定义”，填写集群名称，例如“dev”，选择kubernetes版本1.18
点“高级集群选项”，选“Nginx Ingress”为禁用，修改NodePort范围为10-32767，docker根目录修改为/data/docker
点“编辑YAML”
在如下处：
添加如下内容：
kubelet:
extra_args:
image-gc-high-threshold: 90
image-gc-low-threshold: 85
extra_binds:
- '/data:/data'
一定要注意缩进！
点击“保存”，点击“完成”，点击集群名称如“dev”，点击“主机”，点击“编辑集群”
下拉至最下面，”主机选项“下面的选项全选，点击“复制按钮”
在此命令后面追加 --node-name 你的ip，然后执行这句。
点“保存”，此时网页会自动刷新
再次进入网页，点击“主机”，等待集群正常
变成如下所示可以进行下一步
安装Cube Studio
配置
点击“主机名”如dev，选择dev，点击“Kubeconfig”文件，点击左下方“复制到剪切板”
进入/xxx/cube-studio/install/kubernetes 目录
在此目录下创建config文件，并将复制的内容粘贴进去
执行
sh start.sh 你的ip 1>start.log 2>/error_start.log &
同样，执行ps -ef | grep start.sh 查看是否拉取完成，看是否有error_start.log日志文件，看有没有异常。
如果没有异常，则可以进行下一步
回到web页面，点击“关闭”
升级
dev，dev，点“升级”
点击“编辑YAML”按钮
在如下位置
添加如下内容
extra_args: service-account-issuer: kubernetes.default.svc service-account-signing-key-file: /etc/kubernetes/ssl/kube-service-account-token-key.pem
同样的，注意缩进！
点击“保存”
移动命名空间
dev,dev,defalut,命名空间，全选，点击“移动”，选Default，点击“移动”
注意，移动的是上图14个命名空间。
再次点击“dev”,"default",可以看到如下内容：
此时，可能会有错误，可以等待自动恢复
如果很长时间无法自动恢复，则可以检查日志：
可以结合查看yaml配置是否正常，来排查安装是否有问题
如果这些服务都正常，则可以访问http://xx.xx.xx.xx/myapp/home，进入Cube Studio平台
可以看到如下页面
尝试基础功能
能够创建一个文件 ，到此，说明平台已经搭建完成，且功能可使用。
友情链接，也可以参考如下视频进行部署：cube-studio 开源一站式云原生机器学习平台 单机部署视频_哔哩哔哩_bilibilicube是tme开源的一站式云原生机器学习平台，目前主要包含1、特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；2、在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；3、任务流编排，在线拖拉拽；开放的模板市场，支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算/训练任
https://www.bilibili.com/video/BV18r4y147oj/
rancher高可用
export RANCHER_CONTAINER_NAME=myrancher
export RANCHER_CONTAINER_TAG=v2.5.2docker stop $RANCHER_CONTAINER_NAME
docker create --volumes-from $RANCHER_CONTAINER_NAME --name rancher-data rancher/rancher:$RANCHER_CONTAINER_TAG
# 先备份一遍
docker run --volumes-from rancher-data --privileged -v $PWD:/backup alpine tar zcvf /backup/rancher-data-backup.tar.gz /var/lib/rancher
docker run --name myrancher-new -d --privileged --volumes-from rancher-data --restart=unless-stopped -p 443:443 rancher/rancher:$RANCHER_CONTAINER_TAG