部署你自己的OpenAI格式api,基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型,可以运行在单张Tesla T4显卡)
项目地址:https://github.com/billvsme/my_openai_api单文件实现OpenAI格式api(包含流式响应)部署你自己的OpenAI格式api,基于flask,transformers(使用Baichuan2-13B-Chat-4bits模型,可以运行在单张TeslaT4显卡),实现以下OpenAI接口:Chat/v1/chat/completionsModels/