pip3 install nvidia-pyindex
pip3 install tritonclient[all]
triton python client的安装非常简单,使用如下方式即可,如果你只使用http或grpc方式调用,可以将tritonclient[all]
替换为tritonclient[http]
或tritonclient[grpc]
如果报如下错误ModuleNotFoundError: No module named 'tritonclient',则使用
python3.7 -m pip install nvidia-pyindex
python3.7 -m pip install tritonclient[all]
这样可以确保你的依赖被安装到你使用的python环境中。
根据我的测试,grpc方式调用triton的性能远远高于http方式,在极端情况下甚至可以达到十倍的性能差距,因此如果没有特殊需要,我不建议使用http方式调用。