Firefly多轮对话微调书生·浦语InternLM-7B实践

本篇文章主要介绍使用Firefly项目对书生·浦语InternLM-7B进行微调的工作。

Firefly多轮对话微调书生·浦语InternLM-7B实践_第1张图片

Firefly项目链接:

https://github.com/yangjianxin1/Firefly

firefly-internlm-7b模型权重:

https://huggingface.co/YeungNLP/firefly-internlm-7b

01

书生·浦语InternLM

InternLM ,即书生·浦语大模型,是由上海人工智能实验室开发的,包含面向实用场景的70亿参数基础模型与对话模型 (InternLM-7B)。模型具有以下特点:

  • 使用上万亿高质量语料,建立模型超强知识体系;

  • 支持8k语境窗口长度,实现更长输入与更强推理体验;

  • 通用工具调用能力,支持用户灵活自助搭建流程;

该团队还开源了大模型评测工具OpenComp

你可能感兴趣的:(#,LLM/预训练&SFT,人工智能,chatgpt)