Baichuan7B

LLM（一）| 百川智能baichuan7B、13B、53B以及baichuan2总结

之前在文章baichuan-53BVSChatGLM-6B对比中做过百川大模型53B和ChatGLM6B模型的效果对比，由于百川大模型的内测模型是53B，因此本次对比参数量差异较大，但仍然可以看到两个模型的效果。百川大模型在benchmark上有超越ChatGLM和LLaMA的迹象，尤其是在中文任务上的表现，下面分别对7B、13B和53B模型进行简单总结：一、baichuan-7B2023年6月1
wshzd·2023-09-18 11:14

LLM - 读取 Lora 模型进行文本生成

1.1AutoModelForCausalLM.from_pretrained1.2PeftModel.from_pretrained2.文本生成2.1Tokenizer2.2model.generate3.输出实践三.总结一.引言前面介绍了使用Baichuan7B
BIT_666·2023-07-17 00:02

LLM - Baichuan7B Lora 训练详解

目录一.引言二.环境准备三.模型训练1.依赖引入与tokenizer加载2.加载DataSet与Model3.Model参数配置4.获取peftModel5.构造Trainer训练6.训练完整代码四.Shell执行1.脚本构建2.训练流程3.训练结果五.总结一.引言LLM-Baichuan7BTokenizer生成训练数据上文我们介绍了如何将QA式的样本构造为训练可用的DataSet，本文我们基于
BIT_666·2023-07-16 17:37

【AIGC】BaiChuan7B开源大模型介绍、部署以及创建接口服务

模型介绍baichuan-7B是由百川智能开发的一个开源的大规模预训练模型。基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。huggingfacegithub部署环境系统：centos7.8.2003GPU：2*3090（24G）代
feifeiyechuan·2023-06-16 22:35
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他