tritonserver学习之三:tritonserver运行流程

tritonserver学习之一:triton使用流程

tritonserver学习之二:tritonserver编译

tritonserver学习之四:命令行解析

tritonserver学习之五:backend实现机制 

1、triton启动运行流程

triton功能设计全面,而且复杂,下面是triton(2.41.0)启动的整个流程,在整个pipeline中,每个节点都需要去仔细的研究和学习,不仅能够学到关于异构计算的需要知识,而且还能学到c++很多精巧的设计,总流程如下:

tritonserver学习之三:tritonserver运行流程_第1张图片

2、节点说明

在上述流程图中,每个节点基本都对应代码中的一个模块,比如命令行处理部分,主要有类:

triton::server::TritonParser

完成,命令行的设计、注册、解析等功能都在这个类里。

又比如模型管理器,其只要功能有类:

TritonRepoAgentManager

完成,这些代码基本都分布在:core代码中,是tritonserver的核心代码,后面对triton的学习和探索,基本就按照这个流程图进行,有全局,有局部,这样思路会比较清晰。

你可能感兴趣的:(学习)