3.python3 使用tritonclient

pip3 install nvidia-pyindex
pip3 install tritonclient[all]


triton python client的安装非常简单,使用如下方式即可,如果你只使用http或grpc方式调用,可以将tritonclient[all]替换为tritonclient[http]tritonclient[grpc]

如果报如下错误ModuleNotFoundError: No module named 'tritonclient',则使用

python3.7 -m pip install nvidia-pyindex
python3.7 -m pip install tritonclient[all]

这样可以确保你的依赖被安装到你使用的python环境中。

根据我的测试,grpc方式调用triton的性能远远高于http方式,在极端情况下甚至可以达到十倍的性能差距,因此如果没有特殊需要,我不建议使用http方式调用。

你可能感兴趣的:(triton,python,pycharm,开发语言)