要命 的centos
- 遭遇 系统硬盘 不够用,默认50G,现在最少给200G,无解 ,需要重装系统
2.遭遇 网络配置修改i后无法联网 , 吓得基本不敢再碰 暂时无解 重装
3.遭遇 中文输入法 无法使用 ,再也不奢望 搜狗 fcitx , 暂时无解 重装
4.遭遇 重启后黑屏 ,再也不敢 吓装软件 ,吓修改配置 防火墙 kernel 版本 ,暂时无解 ,ctrl+alt +F2 ,root登陆 ,输入 startx ,进入 root 的 Gnome ,暂时先将就用,估计又要重装系统
5.root gnome 无法使用 Chrome , 命令行启动 google-chrome --no-sandbox
6.chrome 离线 安装 扩展程序 68.0.3440.106 version 64 bit 是最后一斑支持的,其他就 不可以了,centos 缺少 google 插件伴侣 协助安装
7.root gnome 无法使用 teamviewer ,发现好像成了后台程序
8.root gnome 无法使用 google 的chrome 小程序
9 idea 全家桶 破解总是被封掉 很受伤 害怕
10.卸载了 python2.7 ,导致系统严重故障 ,尤其是yum
- 公司 糟糕的网速,时常中断, 被迫 不断修改下载源地址
但是 带宽小,有时候还是 不够
现在的进度
1.modeldb 后端 打assembly 包 成功 ,java -jar 并可以成功运行
2.modeldb front 前端 和 modedb 后端 jar 及 mongodb 可以一起服务发现运行
,但是 还有部分报错,
mongod --config /usr/local/mongodb/bin/mongodb.conf
idea 可以安装 mongodb 的插件
server: java -jar modeldb--with-full-dependency.jar
front : npm start
依赖 thrift java mongodb nodejs sqlite maven scala sbt python3 pyenv
protobuf lore jupyter zeppelin
lore fit load server save estimator 查看源码 后可以重写
modeldb 代码封装
seldon-core 组件 [系统 bois 要开启支持 虚拟化 ,虚拟机 一般会失败】
docker
minikube
kubectl
helm
docker-compose
ksonnet
kubeflow
s2i
seldon-core-s2i-python3
seldonio/core-python-wrapper
seldon-core 的监控还没开始看
seldon-core
docker 修改容器 并提交为新的 镜像 ,进入容器 并进行操作哦
kubectl 删除 错误的 k8s服务 pod service acount
helm 需要 修改仓库 地址 默认是 googleapi 的,没有全局 翻墙的话 不可以
docker 启动的 模型镜像容器 竟然 变成 后台运行
pyenv 污染了 系统的python 环境 ,现在在 命令行 的python 默认 指向的 pyenv
kubeflow 安装
去 kubeflow 官网 , quick start ,下载一个脚本 ,并执行他会自动安装
依赖 minikube kubectl ksonnet ,这个 最后会创建几个 kube pod,下载 安装 比较多
modeldb 项目 maven 已经引入 thrift 依赖 ,但是仍旧报错 找不到 thrift jar包
原因是 idea 的 项目引导文件 iml 作祟,删除最里面的那个 就可以了,有时候需要重启 重新导入 ,
在网上找到解决方法:删除.iml文件,让他重新生成,试了几次之后就成功了。
删除 .iml文件 发现还有错误 ,其实 就是文件 重名,之前 modedb目录下的 java文件是在 thrift 生成的,还是 在codegen目录生成的,忘记了,反正 我已经放到了
项目的 /src/main/java目录中 , 删除 codegen 目录下的 即可
modeldb 重新打的 assembly jar 可以 使用了
另外在 命令行 使用 maven 也可以执行 项目主类了
mvn celan compile exec:java -Dexec.mainClass="edu.mit.csail.db.ml.main.Main"
s2i 本地 需要 安装 grpcio-tools keras
s2i build model_python_file_path_directory
seldon-core
1.首先 支持 多种原生算法库 sklearn xgboost mxnet tensorflow dl4j keras pytorch
- 使用 k8s 很方便的负载均衡 横向扩展 收缩 ,启动方便
- 对 多种语言的支持 java python R c++,并有相应的api
4.支持docker k8s的虚拟化技术 ,是模型服务 足够强大
5.有相应的 wrapper 镜像 从 源码到镜像 一步倒位
6.有相应的 监控,对模型 的请求 足够了解
7 还可以很下游组建 modeldb 结合
难点:
minikube kubectl helm ksonnet kubeflow docker-compose 组件的安装
---已经解决
seldon-core 的安装
我在自己家电脑 看到的 其实是三个 一个带gluster server redis,我在 公司电脑看到的是一个带redis
seldon-core s2i 和 python-wrapper 的 安装和使用
幸好 这些都可以通过 docker pull 到本地来,安装解决,使用上 s2i 解决
python-wrapper 还差一点
seldon 监控 需要glusterfs ,gluster fs 好像至少需要两个 节点 ,另外 在seldon-core/monitoring/ 执行 start-all ,仍旧有一些组建在 pull 到本地还是下载比较困难
glusterfs 需要对硬盘作一些处理,比如挂载 新硬盘 或者虚拟硬盘
seldon type ,
model name ,
model type model router transform agg,
api grpc or restful type,
persistant type:by you if use redis to store some model things
另外 安装 grpc 还是一个比较 耗时的,下载 和编译 都不快
git clone https://github.com/grpc/grpc.git
cd grpc
git submodule update --init
make
make install
在 使用 modeldb 安装 thrift 在 编译环节也很 耗时,还容易出错
seldon model 打 docker 包比较 方便 ,假如 打 k8s服务 ,好像需要手写发布服务的json
另外就是seldon docker 容器 发布后 官方 样例 是后台运行 -d,爆露端口号, 用完即坟, -rm ,但是启动后 竟然 找不到,不知道去哪里了
使用 s2i wrapper 的模型 启动容器 没有问题
使用 python-wrapper 好像就有这些问题
另外 是 seldon 的 预测环节,
比较 请求 参数 特征 到底是如何构造 声明的 ,是在 protobuf中还是在 容器里的py文件中,
另外就是构造 模型请求预测 Graph 调度的定义
还有一个 就是未来 需要保存一些参数 请求调度结果 要落盘 ,存储到数据库等等,需要 挂载宿主硬盘 或者 爆露宿主的 数据库给其使用 可能会存在一些困难
还有就是 seldon 在做 负载均衡时的调度