- 大家好,我是同学小张,日常分享AI知识和实战案例
- 欢迎 点赞 + 关注 ,持续学习,持续干货输出。
- +v: jasper_8017 一起交流,一起进步。
- 微信公众号也可搜【同学小张】
本站文章一览:
当大模型的返回文字非常多时,返回完整的结果会耗费比较长的时间。如果等待大模型形成完整的答案再展示给用户,明显会给用户不好的体验。所以,现在市面上大多数的AI应用,在给用户结果时,都是以流式输出的方式展示给用户的。所谓的流式输出,就是类似打字机式的方式,一个字或一个词的输出,给用户一种答案逐渐出现的动画效果。
今天我们来学习下如何流式输出大模型的返回结果。本文将涵盖 LangChain 的流式输出方式和 OpenAI 原生的流式输出方式。