论文阅读——TÜLU

How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources

论文阅读——TÜLU_第1张图片

论文阅读——TÜLU_第2张图片

统一输入格式:将所有数据集格式化为遵循聊天机器人风格的模式,以统一指令数据集的各种风格和格式。用户输入和目标话语之前特殊token:,助手结尾标志

论文阅读——TÜLU_第3张图片

TÜLU:通过整合资源实现更好的教学调优模型

加指令的多样性可以有效地提高指令调整的性能。所以创建了两个混合数据集,人类创作的数据集和人类+GPT混合创作的数据集。将在人类+GPT数据混合物上训练的LLAMA模型命名为TÜLU。

一些结果:

论文阅读——TÜLU_第4张图片

论文阅读——TÜLU_第5张图片

论文阅读——TÜLU_第6张图片 

论文阅读——TÜLU_第7张图片

你可能感兴趣的:(论文,人工智能)