Milvus Cloud——LangChain 分块实验和结果

LangChain 分块实验和结果

接下来就是激动人心的时刻了！让我们来看看分块实验的结果。

• 测试 LangChain 分块

以下代码块展示了如何运行我们的实验函数。我添加了五个实验，这个教程测试的分块长度从 32 到 64、128、256、512 不等，分块 overlap 从 4 到 8、16、32、64 不等的分块策略。为了测试，我们遍历元组列表并调用上面写的函数。

chunking_tests = [(32, 4), (64, 8), (128, 16), (256, 32), (512, 64)]for test in chunking_tests:
    test_langchain_chunking(path, headers_to_split_on, test[0], test[1])

以下为输出结果。接着让我们来仔细观察每一组实验的输出结果。我们使用的测试问题是“What makes a distinguished engineer?”

• 分块长度 32，重叠 4