LLM微调

大模型训练折戟之路

看了很多大模型平台，基本上这些平台都开源了模型建立过程，训练和微调数据等整个过程和脚本在github上描述的也比较详细，很多AI人员也分享了很多模型训练过程。
manok·2024-01-22 11:59

LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介—“对话格式”功能介绍(推理系统如何解析参数/采用Python代码形式/编写工具调用的代码/Manual Mode)、推理演示

ChatGLM3-6B的简介—“对话格式”功能介绍(推理系统如何解析参数/采用Python代码形式/编写工具调用的代码/ManualMode)、推理演示(Chat/Tool/CodeInterpreter)、微调
一个处女座的程序猿·2024-01-22 08:19

【LLM-agent】function call功能、AgentTuning微调

notefunctioncall本质：准确识别用户的语义，将其转为结构化的指令，其中通过LLM理解指令和上下文判断需要调用哪个函数、抽取出input中函数所需的参数。
山顶夕景·2024-01-22 08:16

AI大模型中的Bert

2.预训练+微调（Pre-training+Fine-tuning）的策略：BERT模型先在大规模无标签文本数据上进行预训练，学习语言的一般性模式，然后在具体任务的标签数据上进行微
永远的HelloWorld·2024-01-22 07:10

掌握大语言模型技术: 推理优化

当今最流行的大型语言模型(LLM)的参数大小可以达到数百到数千亿，并且根据用例，可能需要摄取长输入（或上下文），这也会增加费用。这篇文章讨论了LLM推理中最紧迫
扫地的小何尚·2024-01-22 07:02

为大模型工程提效，基于阿里云 ACK 的云原生 AI 工程化实践

作者：张凯背景以GPT（GenerativePre-trainedTransformer）和Diffusionmodel为代表的大语言模型（Largelanguagemodel，LLM）和生成式人工智能
阿里云云原生·2024-01-22 07:13

bert 是单标签还是多标签 的分类_搞定NLP领域的“变形金刚”！手把手教你用BERT进行多标签文本分类...

所有这些算法都允许我们在大型数据库(例如所有维基百科文章)上预先训练无监督语言模型，然后在下游任务上对这些预先训练的模型进行微调。这一年里，在这一领域中
weixin_39629617·2024-01-22 06:08

基于LLM+RAG的问答

欢迎关注公众号（NLPResearch），及时查看最新内容原文标题：LLM+RAGbasedQuestionAnswering原文地址：https://teemukanstren.com/2023/12
hj_caas·2024-01-22 06:25

[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning & Delta-learning

微调很难了。模型的趋势ModelScaling：模型越来越大DifficultTuning：微调越来越难Prompt-Learning基本组成与流程介绍预训练和fine-tuning有一定的gap。
N刻后告诉你·2024-01-22 04:36

大模型笔记【2】 LLM in Flash

Apple最近发表了一篇文章，可以在iphone,MAC上运行大模型：【LLMinaflash:EfficientLargeLanguageModelInferencewithLimitedMemory】。主要解决的问题是在DRAM中无法存放完整的模型和计算，但是FlashMemory可以存放完整的模型。但是Flash带宽较低，LLMinFlash通过尽量减少从Flash中加载参数的数量，优化在D
南方铁匠·2024-01-22 03:04

第三课：GPT

文章目录第三课：GPT1、学习总结：GPT出现的原因GPT的方法原理目前存在的问题无监督的预训练优化目标模型结构监督微调课程ppt及代码地址2、学习心得：3、经验分享：4、课程反馈：5、使用MindSpore
一条大蟒蛇6666·2024-01-22 02:10

大模型学习第四课作业

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手
敲键盘的喵桑·2024-01-22 02:38

大模型时代来临，基于LLM的生成式AI正在快速变革RPA人机交互

▲图片由AI生成如果问RPA对程序开发以及自动化有哪些贡献，其中一个答案便是它改变了人机交互（HCI，human-computerinteraction）。在传统工作流自动化工具中，软件开发人员不得不生成一个操作列表，使用内部应用程序编程接口（API）或专用脚本语言自动执行任务和与后端系统的接口。RPA系统则通过观察用户在应用程序的图形用户界面（GUI）中执行该任务来开发操作列表，然后通过直接在G
RPA中国·2024-01-22 02:31

田渊栋：2023年终总结｜狂飙的大模型

作者：田渊栋，MetaFAIR研究院研究员/高级经理，CMU机器人系博士整理：青稞AI2023年研究的主要重心转移到了大语言模型（LLM）上面，包括理解LLM的运行机制，及用这些理解去改进LLM的推理效率和质量
zenRRan·2024-01-22 01:57

大秦帝国系列

大秦说播便播了（不许不许套娃）”，2009-2020大秦帝国系列史诗，双厨狂喜（忙里偷闲|狗头|），有些故事，你终究只能像局外人一样去看待结局，局内人甚至视之为自明之理，局外人则觉得莫名其妙，世界的钟摆得以微调和收敛于合适位置
孟小七同学·2024-01-22 00:19

Hugging Face公司和模型测评榜单简单介绍

HuggingFace提供了一个名为Transformers的开源库，这个库为开发者和研究人员提供了一系列预训练模型，以及用于训练和微调这些模型的工具。
人生万事须自为，跬步江山即寥廓。·2024-01-22 00:22

【大模型量化】OliVe：硬件友好的A4W4量化方案

摘要基于变压器的大型语言模型（LLM）随着模型规模的增长取得了巨大的成功。LLM的规模每两年增长240倍，这超过了硬件的进步，并使模型推理变得越来越昂贵。
AI小白龙·2024-01-21 22:05

XTuner 大模型单卡低成本微调实战

教程XTuner大模型单卡低成本微调实战文档XTuner大模型单卡低成本微调实战B站视频指令微调，也叫指令微调，intruct大模型。
RessCris·2024-01-21 18:46

【论文解读】用于代码处理的语言模型综述

目录1.简要介绍2.代码处理的语言模型的评估3.通用语言模型4.用于代码处理的特定语言模型5.语言模型的代码特性6.软件开发中的LLM7.结论与挑战1.简要介绍在这项工作中，论文系统地回顾了在代码处理方面的最新进展
合合技术团队·2024-01-21 15:23

感赏（337）接收祝福！～我吸引到稳稳的参加高考的儿子最好的状态！

每天，起床、投射、默默的爱着小我，我知道自己微调适度，能在清晨开启快乐的时光！工作忙而不乱，累而不疲！忙得快乐，忙得欢喜！图片发自App感赏自己，能有分段投射的意识，只是偶尔会断片！
刘淑正·2024-01-21 15:01

ChatGPT 商业提示词攻略书

你不会听到我在说LLM这个API那个
绝不原创的飞龙·2024-01-21 15:44

Lodop打印设计（PRINT_DESIGN）介绍

（用于微调，普通调整可拖动调整元素位置，移动选中的单个或多个打印项）（2）第一排第二个功能，设置颜色。点击颜色方格的图标，可选预设的颜色，或者自定义颜色。
weixin_30902251·2024-01-21 14:01

Stable Diffusion

LoRa是大模型微调的一种基础方法，广泛应用于语言大模型、视觉大模型
saoqi_boy·2024-01-21 13:53

使用PEFT微调ChatGLM3-6B

系列文章目录该系列文章用于介绍使用peft库来进行大模型的微调第一章使用PEFT对ChatGLM3-6B进行LORA微调文章目录系列文章目录前言一、准备工作1.环境准备2.大模型准备：3.数据准备二、数据集准备和训练
saoqi_boy·2024-01-21 13:53

【llm 使用llama 小案例】

huggingfacehttps://huggingface.co/meta-llamafromtransformersimportAutoTokenizer,LlamaForCausalLMPATH_TO_CONVERTED_WEIGHTS=''PATH_TO_CONVERTED_TOKENIZER=''#一般和模型地址一样model=LlamaForCausalLM.from_pretrain
放飞自我的Coder·2024-01-21 13:35

源2.0大模型适配LLaMA-Factory框架！

近日，源2.0开源大模型与LLaMA-Factory框架完成全面适配，用户通过LLaMA-Factory，即可快捷、高效地对不同参数规模的源2.0基础模型进行全量微调及高效微调，轻松实现专属大模型。
AI知识图谱大本营·2024-01-21 13:34

【llm 微调code-llama 训练自己的数据集 一个小案例】

这也是一个通用的方案，使用peft微调LLM。
放飞自我的Coder·2024-01-21 13:33

大模型Agent

一、背景知识LLM的一些缺点1.会产生幻觉。2.结果并不总是真实的。3.对时事的了解有限或一无所知。4.很难应对复杂的计算。
南宫凝忆·2024-01-21 13:02

LLM评估（一）| 大模型评估的四种方法

最后，如果LLM通过检索增强生成或RAG系统使用外部数据，我们如何判断它是否正确使用了这些数据？在本文中，我们将探讨
wshzd·2024-01-21 13:02

LLM之RAG实战（十七）| 高级RAG：通过使用LlamaIndex重新排序来提高检索效率

基本RAG的检索是静态的，会检索到固定数字（k）个相关文档，而如果查询需要更多的上下文（例如摘要）或更少的上下文，该怎么办？可以通过在以下两个阶段来实现动态检索：预检索：检索器初步选择相关的上下文；检索后：对相关的上下文进行重新排列，并进一步筛选结果这种动态修剪不相关的上下文非常重要，它允许我们设置一个大的top-k，但仍然可以提高精度。一、为什么要重排序？重新排序是检索过程中的一个步骤，根据某些
wshzd·2024-01-21 13:02

LLM之RAG实战（十八）| 使用Query转换来改进RAG效果

在本文中，我们将分析查询转换，以及如何使用路由器根据输入提示选择适当的转换。查询转换背后的想法是，检索器有可能从数据库中检索到与用户初始提示不相关的块。在这些情况下，我们可以在检索并将其提供给语言模型之前，修改查询以增加其与源的相关性。我们将从一个简单的RAG应用程序开始，首先加载关于尼古拉斯·凯奇、《最好的时代》（尼古拉斯·凯吉首次登台表演的电视试播）和莱昂纳多·迪卡普里奥的三个维基百科页面数据
wshzd·2024-01-21 13:02

羊驼系列大模型LLaMa、Alpaca、Vicuna

让大模型平民化LLaMa优势用到的数据：大部分英语、西班牙语，少中文模型下载地址https://huggingface.co/meta-llamaAlpaca模型Alpaca是斯坦福从Meta的LLaMA7B微调而来的全新模型
南宫凝忆·2024-01-21 13:59

LLM之RAG实战（十六）| 使用Llama-2、PgVector和LlamaIndex构建LLM Rag Pipeline

近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。
wshzd·2024-01-21 13:59

论文阅读_训练大模型用于角色扮演

英文名称:Character-LLM:ATrainableAgentforRole-Playing中文名称:角色-LLM：训练Agent用于角色扮演文章:[https://arxiv.org/abs/2310.10158
xieyan0811·2024-01-21 12:10

0代码，三步教你打造微信助手

特别是在GPT-3.5全面开放API接口后，基于语言模型（LLM）的各种应用如雨后春笋般涌现，显示了无限的可能性和创新。
迪迦·2024-01-21 10:42

开源大模型领域最重要的玩家们，在关心/担心什么

从2月份Meta发布的Llama，到3月份斯坦福大学微调Llama后发布的Alpaca，再到5月份出现的Falcon，世界各地的开源模型在「内卷」中快速进步。
开源社·2024-01-21 10:14

视频剪辑教程：如何批量制作滚动字幕，提升画面质感的方法

批量制作滚动字幕的方法：1、执行云炫AI智剪：支持AI智剪、分割视频、合并视频、视频画中画、视频色彩微调、自带srt字幕编辑器、嵌套合并、视频封面、视频转码等。
叩心·2024-01-21 09:50

Self-RAG：通过自我反思学习检索、生成和批判

问题：万能LLM错误陈述事实的问题尽管大型语言模型（LLM）具有非凡的能力，但由于它们完全依赖于它们所封装的参数知识，因此通常会产生
lichunericli·2024-01-21 08:27

大模型 RAG 优化 收集一

痛点1：文档切分粒度不好把控，既担心噪声太多又担心语义信息丢失问题1：如何让LLM简要、准确回答细粒度知识？问题2：如何让LLM回答出全面的粗粒度（跨段落）知识？
fan_fan_feng·2024-01-21 08:47

Next-GPT: Any-to-Any Multimodal LLM

Next-GPT:Any-to-AnyMultimodalLLM最近在调研一些多模态大模型相关的论文，发现Arxiv上出的论文根本看不过来，遂决定开辟一个新坑《一页PPT说清一篇论文》。自己在读论文的过程中会用一页PPT梳理其脉络和重点信息，旨在帮助自己和读者快速了解一篇论文。论文PPT在GitHub中：https://github.com/FutureForMe/One_Page_PPT_Rep
FutureForMe@·2024-01-21 07:57

GPT属于AI，是LLM的一种实现

GPT（GenerativePre-trainedTransformer）作为一种创新的语言模型，既属于人工智能（AI）的一部分，也是大规模语言模型（LLM）的一种实现。
庄泽峰·2024-01-21 07:25

Tensorflow 入门基础——向LLM靠近一小步

进入tensflow的系统学习，向LLM靠拢。
柳小葱·2024-01-21 07:37

大模型日报-20240120

AlphaFold发现了数千种可能的致幻剂扎克伯格宣战AGI：Llama3训练中，今年要囤35万块H100，砸近百亿美元吞吐量提升5倍，联合设计后端系统和前端语言的LLM接口来了不担心字节跳动、腾讯等大厂竞争
程序无涯海·2024-01-21 02:31

LLM设计原理学习笔记

1设计原则（1）不要将多模态特征直接线性相加博文《马毅LeCun谢赛宁曝出多模态LLM重大缺陷！开创性研究显著增强视觉理解能力》描述了多模态encoding线性相加带来的问题；
songyuc·2024-01-21 02:16

【书生·浦语大模型实战营04】《(4)XTuner 大模型单卡低成本微调实战》学习笔记

《(4)XTuner大模型单卡低成本微调实战》课程文档：《XTuner大模型单卡低成本微调实战》1Finetune简介LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式1.1增量预训练微调使用场景
songyuc·2024-01-21 02:46

篇二：MindSpore在实际项目中的应用与挑战

我们使用迁移学习的方法进行微调。这种方法在一定程度上提高了模型的性能和泛化能力。其次，模型部署和运行效率也是实际项目中需要考虑的重要问题。在某些场景下，模型的运行速度和稳定性对于用户体验至关重要。
GT开发算法工程师·2024-01-20 22:05

(202312)so-large-lm:Task01引言

文章目录前言要点总结1什么是语言模型2大模型相关历史回顾3这门课的意义4课程结构介绍前言感谢开源学习的组织者与活动的发起者为我们带来so-large-llm这一可谓大语言模型的通识课。
早上真好·2024-01-20 22:56

迭代式提示词优化用于从ChatGPT中挖掘基因关系

使用ChatGPT挖掘基因关系作者如何利用大型语言模型（LLM）从生物医学文献中提取基因关系和生物通路的方法。
AI明说·2024-01-20 20:07

大模型 RAG 面试篇

检索+LLM。先用问题在领域数据库里检索到候选答案，再用LLM对答案进行加工。2.基于LLM+向量库的文档对话思路是怎么样？
fan_fan_feng·2024-01-20 19:48

LLM：ALiBi - 给注意力加上线性偏置

论文：https://arxiv.org/pdf/2108.12409.pdf代码：https://github.com/ofirpress/attention_with_linear_biases发表：2021长度外推参考：https://spaces.ac.cn/archives/9431#ALIBI长度外推性是一个训练和预测的长度不一致的问题。具体来说，不一致的地方有两点：1、预测的时候用到
微风❤水墨·2024-01-20 17:18
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他