云渲染集群监控与任务调度设计

首先说一下此项目的背景，公司主要从事互联网家居设计行业，所以最重要的就是室内设计，初期做的是离线渲染，设计师使用我们的设计软件做设计，将设计好的方案提交至后端，由我们的构建应用做参数转换，然后提交至我们的渲染引擎进行云渲染，最终出设计图。
云渲染的专业知识要求比较高，本人也是第一次接触，对于渲染引擎、专业图形显卡的预研工作涉及颇少，最终大佬选用英伟达的iray渲染引擎和2080TI显卡，话不多说先上整体的架构设计图:

iraycloud.png

接下来细述各应用的职责与功能：

1. dr-client：面向C端设计师使用的设计软件客户端。
2. dr-web： 设计软件服务端，存储设计师方案参数。
3. dr-notify：渲染任务状态消息的收发。
4. rocketMQ：DR端和IRAY端数据通讯的中间层。
5. iray-proxy： 云渲染端的数据网关层，用来接收渲染任务。
6. iray-scheduler：云渲染任务调度和分发应用。
7. construct：构建应用，主要做参数转换成IrayServer识别的协议报文。
8. iray-server：云渲染引擎，英伟达的产品，主要用来渲染出图。
9. cluster-agent: 集群监控客户端，主要提供进程监控、重启命令执行、内存监控等功能。
10. cluster-admin: 集群监控服务端，提供节点管理、启动命令下发、节点监控状态等功能。
11. zipkin：用来做渲染任务流转状态的全链路监控。
12. grafana：整体架构的异常告警和业务监控。
13. ELK： 应用日志的采集平台，主要由FileBeat、ES、Kibana、Kafka组成。

整个项目涉及的技术栈还是蛮多的有Golang、Java、Python、C++等，目前集群的规模接近百十台（50台云渲染、42台构建），每天近10000张的出图量（分辨率2K、4K、6K不等），能够满足目前的业务需求。