企业级ChatGPT开发的三大核心内幕及案例实战(四)

2.3 四种组合文档链方式在LangChain开发中的作用及源码分析
假设阅读一本书,作者和智华合作写的一本关于Spark方面的书籍,一共1300多页,如果从第一页开始,逐渐去遍历检索信息,无论从速度、还是从性价比的角度,这是一个问题,LangChain给我们提供了一些比较经典的方式,例如map_reduce、map_rerank、refine、stuff等四种方式。
Map Reduce方式把一个很大的文件分成多个文件,如果大家做Hadoop、Spark或Flink,对这个概念应该很清楚,这是一种分而治之的思想。
map_reduce.py的代码实现:

1.	"""通过先在文档上映射一个链来组合文档,然后再组合结果."""
2.	
3.	from __future__ import annotations
4.	
5.	from typing import Any, Callable

你可能感兴趣的:(ChatGPT学习,ChatGPT国内,OpenAI,ChatGPT使用)