开源模型应用落地-KnowLM模型小试-入门篇（二）

一、前言

    在第一篇学习中，我们初步掌握了KnowLM模型的使用。现在，我们将进一步优化该模型参数，以提高实体和关系的提取效率和质量。

---

二、术语

    2.1. 波束搜索多项式采样

    波束搜索是一种常用的文本生成算法，它在生成过程中保持一组最有可能的候选序列（称为波束）。在每个时间步，波束搜索会选择概率最高的一些候选序列，并继续生成下一个标记。这样，它可以在一定程度上控制生成的多样性，并获得相对高质量的结果。

    多项式采样是一种用于增加生成多样性的技术。在传统的贪婪采样中，模型总是选择概率最高的标记作为生成的下一个标记。而多项式采样允许模型以一定的概率选择其他低概率的标记，以增加生成的多样性。具体来说，多项式采样从模型输出的概率分布中按照一定的分布参数进行采样，使得低概率的标记有一定的机会被选择。

    波束搜索多项式采样综合了波束搜索和多项式采样的优点。它首先使用波束搜索来生成一组高概率的候选序列，然后对这些候选序列进行多项式采样，增加生成的多样性。通过这种方式，可以在保持一定的生成质量的同时，获得更加多样化的生成结果。

---

三、前置条件

3.1. 具备至少单卡的GPU服务器，显存建议不少于24G

---

四、技术实现

4.1.  指定模型及数据所在的设备分布方式

model = LlamaForCausalLM.from_pretrained(modelPath,