开源模型应用落地-KnowLM模型小试-入门篇(二)

一、前言

    在第一篇学习中,我们初步掌握了KnowLM模型的使用。现在,我们将进一步优化该模型参数,以提高实体和关系的提取效率和质量。


二、术语

    2.1. 波束搜索多项式采样

    波束搜索是一种常用的文本生成算法,它在生成过程中保持一组最有可能的候选序列(称为波束)。在每个时间步,波束搜索会选择概率最高的一些候选序列,并继续生成下一个标记。这样,它可以在一定程度上控制生成的多样性,并获得相对高质量的结果。

    多项式采样是一种用于增加生成多样性的技术。在传统的贪婪采样中,模型总是选择概率最高的标记作为生成的下一个标记。而多项式采样允许模型以一定的概率选择其他低概率的标记,以增加生成的多样性。具体来说,多项式采样从模型输出的概率分布中按照一定的分布参数进行采样,使得低概率的标记有一定的机会被选择。

    波束搜索多项式采样综合了波束搜索和多项式采样的优点。它首先使用波束搜索来生成一组高概率的候选序列,然后对这些候选序列进行多项式采样,增加生成的多样性。通过这种方式,可以在保持一定的生成质量的同时,获得更加多样化的生成结果。


三、前置条件

3.1. 具备至少单卡的GPU服务器,显存建议不少于24G


四、技术实现

4.1.  指定模型及数据所在的设备分布方式

model = LlamaForCausalLM.from_pretrained(modelPath, 

你可能感兴趣的:(开源大语言模型-实际应用落地,深度学习)