百度智能云千帆大模型平台再升级，SDK版本开源发布！

作者简介：小明java问道之路，2022年度博客之星全国TOP3，专注于后端、中间件、计算机底层、架构设计演进与稳定性建设优化，文章内容兼具广度、深度、大厂技术方案，对待技术喜欢推理加验证，就职于知名金融公司后端高级工程师。

        

热衷分享，喜欢原创~ 关注我会给你带来一些不一样的认知和成长。

        

2022博客之星TOP3 | CSDN博客专家 | 后端领域优质创作者 | CSDN内容合伙人

InfoQ(极客邦)签约作者、阿里云专家 | 签约博主、51CTO专家 | TOP红人 

本文目录

本文导读

一、SDK的优势

二、千帆SDK：快速落地LLM应用

三、如何快速上手千帆SDK

1、SDK快速启动

1.1、快速安装

1.2、平台鉴权

1.3、获取AK（Access Key）/SK（Secret Access Key）

 1.4、调用“Chat 对话”

2、SDK进阶指引

3、通过Langchain接入千帆SDK

总结

---

 

本文导读

百度智能云千帆大模型平台再次升级！在原有API基础上，百度智能云正式上线Python SDK（下文均简称千帆 SDK，千帆SDK已经开源到 Github(https://github.com/baidubce/bce-qianfan-sdk)）版本并全面开源，企业和开发者可免费下载使用！

千帆SDK全面覆盖从数据集管理，模型训练，模型评估，到服务部署等方面的功能，开发者们可基于千帆SDK通过代码接入并调用百度智能云千帆大模型平台的能力，轻松实现 LLMOps（Large Language Model Operations,是指在大型自然语言模型的开发、训练、优化和部署过程中,需要进行的一系列运营活动。）全流程的落地，快速构建自己的大语言模型应用。  

一、SDK的优势

​SDK当前主要的价值在于可快速使用API能力，并完善API使用的周边工具链，同时提供 cookbook用于实践。

1、快速使用API能力，不需要自己实现http客户端以及鉴权逻辑；并在此基础上做了可配置重试，流量控制，提升了API功能的使用体验。

2、结合实际的案例和应用场景提供了响应的 cookbook，帮助开发者们快速上手，甚至复用大部分已实现代码。

3、拓展了 LLM 应用的基础能力，例如结合 LLM 应用层常见的 Agent 等概念进行了封装，提供了基于Agent的应用模板类。

二、千帆SDK：快速落地LLM应用

千帆SDK支持对话补全、续写补全、语义向量、插件、文生图等一系列功能，帮助开发者们轻松完成应用开发。

对话补全（ChatCompletion）：对话模型是语言模型的一种变体。虽然在内部使用了语言模型，但它们所提供的接口有些不同。适用于对话生成，智能问答等场景。

续写补全（Completion）：语言模型提供了基本的续写能力，结合丰富的训练语料，非常适合于文档报告编写，内容创作等场景。

语义向量（Embedding）：百度智能云千帆大模型平台在提供大模型对话续写能力的同时，应对于常见的文本检索，知识库查询等场景，也推出了文本转化成向量的能力。

插件应用（Plugin）：为了填补大模型对于获取实时信息，多模态，垂直领域知识问答等场景的能力空白，百度智能云千帆大模型平台推出了常用的几种插件应用，包括百度搜索，知识库，天气查询，智慧图问等几个插件应用。开发者可以通过大模型的决策能力进行问答文本到插件应用调用的转化，也可以直接调用插件应用以获取相应的数据。

文生图（Text2Image）：基于开源的StableDiffusion等开源多模态大模型的基础上，百度智能云千帆大模型平台推出了一系列预置的文生图模型，开发者们也可以通过SDK快速调用，进行图文创作。

三、如何快速上手千帆SDK

百度智能云千帆大模型平台为开发者们提供了详细的操作手册，包括SDK快速启动、大模型开发基础功能快速入门和Langchain接入方法，开发者们可通过以下步骤更加快速的使用千帆SDK。同时可以查看千帆社区（https://cloud.baidu.com/qianfandev）的一些入门博客。

1、SDK快速启动

在该模块，我们通过必要快速上手步骤，以及以Chat对话为调用示例，介绍了如何快速进入LLM的应用开发。

1.1、快速安装

目前千帆SDK已发布到PyPI，开发者可使用pip命令进行安装。安装千帆SDK需要3.7.0或更高的Python版本。

  

1.2、平台鉴权

千帆SDK基于百度智能云千帆大模型平台对开发者们提供能力，因此在使用前需要开发者使用平台指定的鉴权方式进行初始化。

1.3、获取AK（Access Key）/SK（Secret Access Key）

开发者可首先进行应用接入，获得AK/SK。获取到AK和SK后，开发者还需要传递它们来初始化千帆SDK，支持如下两种方式，按优先级从低到高排序：

  

 1.4、调用“Chat 对话”

开发者们只需要提供预期使用的模型名称和对话内容，即可调用百度智能云千帆大模型平台支持的包括ERNIE-Bot在内的所有预置模型，如下所示：

  

2、SDK进阶指引

对于对模型有微调训练需求的开发者，千帆SDK提供了模型训练和管理的能力。

大模型训练：百度智能云千帆大模型平台提供了高性能的训练，模型微调能力，可以快速的进行训练任务下发和管理。

大模型管理：主要用于自定义模型的管理和发布。

大模型服务：千帆平台提供了基础的大模型运行环境，开发者可以一键式发布自己的模型服务。

3、通过Langchain接入千帆SDK

Langchain 是可以帮助开发者们快速构建从原型到生产的LLM应用的框架。其封装了包括LLM，Embedding，Chain，Agent，Tool等一系列抽象的LLM应用组件，在其开源社区成员的不断贡献下集成了当前大部分主流的大语言模型等调用方法，是当前非常流行的开源大模型框架。

Langchain 开发效率高，资源配套完善，拥有大量开发者。现在，开发者可以在 langchain 中通过千帆SDK接入并使用百度智能云千帆大模型平台的训练等一系列能力，让应用场景开发更轻松、更便捷。

总结

百度智能云千帆大模型平台近期升级，推出了新的千帆SDK，有助于开发者们轻松构建自己的大语言模型应用，并满足各种自然语言处理需求，本文帮助大家了解和快速入门~