【AI大模型应用开发】【LangChain系列】9. 实用技巧:大模型的流式输出在 OpenAI 和 LangChain 中的使用

  • 大家好,我是同学小张,日常分享AI知识和实战案例
  • 欢迎 点赞 + 关注持续学习持续干货输出
  • +v: jasper_8017 一起交流,一起进步。
  • 微信公众号也可搜【同学小张】

本站文章一览:

【AI大模型应用开发】【LangChain系列】9. 实用技巧:大模型的流式输出在 OpenAI 和 LangChain 中的使用_第1张图片


当大模型的返回文字非常多时,返回完整的结果会耗费比较长的时间。如果等待大模型形成完整的答案再展示给用户,明显会给用户不好的体验。所以,现在市面上大多数的AI应用,在给用户结果时,都是以流式输出的方式展示给用户的。所谓的流式输出,就是类似打字机式的方式,一个字或一个词的输出,给用户一种答案逐渐出现的动画效果。

今天我们来学习下如何流式输出大模型的返回结果。本文将涵盖 LangChain 的流式输出方式和 OpenAI 原生的流式输出方式。

文章目录

  • 0. LangChain的流式输出 Streaming
    • 0.1 实现流式输出
  • 1. OpenAI 原生的流式输出
    • 1.1 启动 OpenAI 的流式输出
    • 1.2 流式输出结果组装
    • 1.3 完整的流式输出测试程序

你可能感兴趣的:(大模型,人工智能,langchain,gpt,笔记,经验分享,agi)