OpenCompass

多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）

基于Dify的智能分类方案：大模型结合KNN算法（附代码）OpenCompass：大模型测评工具一文读懂多模态大模型基础架构大模型管理平台：one-api使用指南大模型RAG、ROG、RCG概念科普RAGOnMedicalKG

写代码的中青年·2024-08-22 15:59

【书生浦语大模型全链路开源体系】

浦语大模型的开源历程2.2、书生·浦语大模型的系列三、从模型到应用四、书生·浦语全链条开源开放体系4.1、数据（书生·万卷）4.2、预训练（InternLM-Train）4.3、微调（XTuner）4.4、评测（OpenCompass

G_Sheep·2024-02-11 18:54

LLM_Home_Work_Day6

基础作业使用OpenCompass评测InternLM2-Chat-7B模型在C-Eval数据集上的性能

Rigel9527·2024-02-07 12:59

【译】在 Mac 上加速 PyTorch 训练

写在前面为什么突然深度介入大模型领域了因为最近在评估大模型用于行业应用，通过OpenCompass排行榜了解到了很多大模型，像文心一言是自己深度试用过的，趁着这次评估，也体验或者通过其他团队的介绍了解了通义千问

markvivv·2024-01-31 07:10

书生·浦语大模型实战营汇总

LangChain搭建你的知识库视频，文档，笔记，作业第四课：XTuner大模型单卡低成本微调实战视频1，视频2，文档，笔记，作业第五课：LMDeploy大模型量化部署实践视频，文档，笔记，作业第六课：OpenCompass

灬烖灬·2024-01-31 03:55

大模型学习之书生·浦语大模型笔记汇总

LangChain搭建知识库大模型学习之书生·浦语大模型4——基于Xtuner大模型微调实战大模型学习之书生·浦语大模型5——基于LMDeploy大模型量化部署实践大模型学习之书生·浦语大模型6——基于OpenCompass

uncle_ll·2024-01-31 03:25

大模型学习与实践笔记（十四）

使用OpenCompass评测InternLM2-Chat-7B模型使用LMDeploy0.2.0部署后在C-Eval数据集上的性能步骤1：下载internLM2-Chat-7B模型,并进行挂载以下命令将

AllYoung_362·2024-01-30 00:05

【OpenCompass 大模型评测】学习笔记

参考学习教程【大模型评测教程】理论作业使用OpenCompass评测InternLM2-Chat-7B模型在C-Eval数据集上的性能

尘汐筠竹·2024-01-29 05:15

【OpenCompass 大模型评测——笔记】

OpenCompass大模型评测——笔记一、OpenCompass介绍1.1评测对象1.2工具架构1.3能力维度1.4评测方法1.4.1客观评测1.4.2主观评测二、快速开始2.1概览2.2安装2.2.1

G_Sheep·2024-01-29 05:15

OpenCompass 大模型评测笔记

https://www.bilibili.com/video/BV1Gg4y1U7uc/github文档地址：https://github.com/InternLM/tutorial/blob/main/opencompass

到di有冇·2024-01-26 10:26

第六节课 OpenCompass 大模型评测（笔记）

一、关于评测的三个问题？1.为什么需要评测？模型选型模型能力提升真是应用场景效果评测2.我们需要测什么？知识、推理、语言长文本、智能体、多轮对话情感、认知、价值观3.怎么样测试大语言模型自动化客观评测人机交互评测基于大模型的大模型评测二、我们为什么需要评测？建立在公平的、全面的统一框架下可以知道模型的能力边界三、我们需要评测什么？四、如何评测大语言模型1.根据模型基座模型对话模型（经过指令微调的模

幽径微澜·2024-01-24 05:03

【书生·浦语大模型实战营第6课】OpenCompass大模型评测

一、关于大模型评测的三个问题：Why，What，How问题一、为什么需要评测（Why）比较不同大模型间的优劣探索模型能力提升的边界真实应用场景的效果评估问题二、评测什么（What）知识、推理、语言长文本、智能体、多轮对话情感、认知、价值观问题三、如何评测？（How）客观评测：问答题、多选题、判断题、分类题等主观评测：人工评价、模型评价现有的主流大模型评测框架加州大学伯克利分校提出了MMLU测试集，

A-Little-Boy·2024-01-24 04:46

【书生·浦语大模型实战营06】《OpenCompass 大模型评测》学习笔记

《OpenCompass大模型评测》文档：OpenCompass大模型评测教程1、主观评测2、提示词工程李华每周给2个不同的朋友写一封3页的信，一周写两次。他一年总共写了多少页的信?

songyuc·2024-01-24 03:41

【书生·浦语】大模型实战营—— OpenCompass 大模型评测

模型评测模型评测是指对真实应用场景下模型能力提升效果的测评，可以从模型知识、推理、语言长文本、智能体、多轮对话情感、认知、价值观等方面入手。一般来说可以通过自动化客观评测、人机交互评测以及基于大模型的评测进行评测。评测原因评测内容评测方法大模型评测根据模型类别有不同的方法。一般来说大模型可以分为只经过预训练的基座模型以及经过了SFT或者RHF的对话模型。针对基座模型评测时，需要在prompt中加上

不想动脑筋的亮亮·2024-01-23 12:15

【书生·浦语】大模型实战营——第六次作业

使用OpenCompass评测InterLM2-chat-chat-7B模型在C-Eval数据集上的性能环境配置1.创建虚拟环境condacreate--nameopencompass--clone=/

不想动脑筋的亮亮·2024-01-23 11:39

OpenCompass 大模型评测

OpenCompass大模型评测关于测评的三个问题为什么需要测评？我们需要评测什么？怎么测试大预言模型？

桑_榆·2024-01-22 20:49

大模型学习与实践笔记（十一）

一、使用OpenCompass对模型进行测评1.环境安装：gitclonehttps://github.com/open-compass/opencompasscdopencompasspipinstall-e

AllYoung_362·2024-01-22 19:42

大模型学习之书生·浦语大模型6——基于OpenCompass大模型评测

基于OpenCompass大模型评测关于评测的三个问题Why/What/HowWhyWhat有许多任务评测，包括垂直领域How包含客观评测和主观评测，其中主观评测分人工和模型来评估。

uncle_ll·2024-01-22 13:12

大模型学习第六课作业

使用OpenCompass评测InternLM2-Chat-7B模型在C-Eval数据集上的性能

敲键盘的喵桑·2024-01-22 02:09

大模型学习第六课

学习目标：OpenCompass大模型评测学习内容：模型评测掌握Java基本语法掌握条件语句掌握循环语句学习时间：20240120学习产出：为什么需要评测：普通用户，开发者，管理机构，产业界如何评测大预言模型

敲键盘的喵桑·2024-01-22 02:05

大模型学习与实践笔记（十）

一、模型测评的意义二、如何对模型进行测评三、OpenCompass评测流水线设计四、大模型评测带来的挑战五、OpenCompass评测示例1.多模态优势：1.基于感知与推理，将评估维度逐级细分2.约3000

AllYoung_362·2024-01-21 04:26

【InternLM 大模型实战】第一课

书生·浦语大模型全链路开源体系前言环境背景开源历程开源模型应用从模型到应用全链条开源开放体系数据预训练微调高效微调框架XTuner评测OpenCompass开源评测平台架构部署LMdeploy大模型部署的全流程解决方案智能体轻量级智能体框架

卖小麦←_←·2024-01-13 13:02

[笔记]书生·浦语大模型全链路开源体系

书生浦语大模型开源产品开源大模型系列大模型部署应用流程书生浦语全链条开源体系数据-预训练框架-微调框架-部署工具-测评工具-agent应用工具箱开源数据详细介绍预训练框架介绍微调框架介绍评测框架OpenCompass

贝利&桃子·2024-01-10 03:38

书生·浦语大模型全链路开源开放体系

InternLM-7B中量级：InternLM-20B重量级：InternLM-123B从模型到应用书生·浦语大模型全链路开源开放体系数据：书生·万卷预训练：InternLM-Train微调：XTuner模型评测：OpenCompass

canglangzhishuiV·2024-01-10 03:37

书生大模型全链路开源体系

评测OpenCompass：开源的大模型评测工具智能体应用LagentAgentLego数据书生万卷1.0这个是上海人工智能开源的多模态的数据

攻城狮白玉·2024-01-10 03:32

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》

《书生·浦语大模型全链路开源体系》1.大模型成为热门关键词LLM发展时间轴2.书生·浦语全链条开源开放体系微调：XTuner支持全参数微调支持LoRA等低成本微调评测：OpenCompass全方位评测，

songyuc·2024-01-09 05:16

20240104书生·浦语大模型全链路开源体系

文章目录大模型开发流程上海人工智能实验室书生全链路开源数据-书生·万卷InternLM-Train微调XTuner评测工具OpenCompass部署LMDeploy智能体Lagent智能体工具箱AgentLego

爱科研的瞌睡虫·2024-01-09 00:58

【大模型实践】通义千问QWen 安装及体验（三）

12月12日，中国权威的大模型评测平台OpenCompass日前

justld·2023-12-25 14:24

使用OpenCompass评测rwkv模型教程

0x0.前言继续MLC-LLM支持RWKV-5推理以及对RWKV-5的一些思考文章里面提到的想法，探索一下使用OpenCompass来评测RWKV模型，对模型的实际表现有一个更客观的了解。

just_sort·2023-12-24 15:37

大模型Java编码能力评估

下面就梳理下当前大模型是如何评估代码能力的权威评估opencompass:https://opencompass.org.cn/datalearner:https://www.datalearner.com

wenxueliu@HW·2023-10-07 01:36

LLMs之InternLM：InternLM-20B的简介、安装、使用方法之详细攻略

它在OpenCompass提出的5个能力维度上(语言、知识、理解、推理、学科)全面领先于同规模开源模型，InternLM-20B在综合能力上全面领先于13B量级的开源模型，同时在推理评测集上接近甚至超越

一个处女座的程序猿·2023-09-26 13:31

大模型评测平台OpenCompass

OpenCompass介绍OpenCompass是面向大模型评测的一站式平台。

致Great·2023-08-01 01:34

推荐频道