微调第9页

【LLM-agent】function call功能、AgentTuning微调

所以为了提高模型准确识别和调用函数的能力，如agenttuning就是利用多个agent任务交互轨迹，对LLM进行sft微调，文章目录note一、functioncall1.functio

山顶夕景·2024-01-22 08:16

AI大模型中的Bert

2.预训练+微调（Pre-training+Fine-tuning）的策略：BERT模型先在大规模无标签文本数据上进行预训练，学习语言的一般性模式，然后在具体任务的标签数据上进行微

永远的HelloWorld·2024-01-22 07:10

bert 是单标签还是多标签的分类_搞定NLP领域的“变形金刚”！手把手教你用BERT进行多标签文本分类...

所有这些算法都允许我们在大型数据库(例如所有维基百科文章)上预先训练无监督语言模型，然后在下游任务上对这些预先训练的模型进行微调。这一年里，在这一领域中

weixin_39629617·2024-01-22 06:08

[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning & Delta-learning

微调很难了。模型的趋势ModelScaling：模型越来越大DifficultTuning：微调越来越难Prompt-Learning基本组成与流程介绍预训练和fine-tuning有一定的gap。

N刻后告诉你·2024-01-22 04:36

第三课：GPT

文章目录第三课：GPT1、学习总结：GPT出现的原因GPT的方法原理目前存在的问题无监督的预训练优化目标模型结构监督微调课程ppt及代码地址2、学习心得：3、经验分享：4、课程反馈：5、使用MindSpore

一条大蟒蛇6666·2024-01-22 02:10

大模型学习第四课作业

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手

敲键盘的喵桑·2024-01-22 02:38

大秦帝国系列

大秦说播便播了（不许不许套娃）”，2009-2020大秦帝国系列史诗，双厨狂喜（忙里偷闲|狗头|），有些故事，你终究只能像局外人一样去看待结局，局内人甚至视之为自明之理，局外人则觉得莫名其妙，世界的钟摆得以微调和收敛于合适位置

孟小七同学·2024-01-22 00:19

Hugging Face公司和模型测评榜单简单介绍

HuggingFace提供了一个名为Transformers的开源库，这个库为开发者和研究人员提供了一系列预训练模型，以及用于训练和微调这些模型的工具。

人生万事须自为，跬步江山即寥廓。·2024-01-22 00:22

XTuner 大模型单卡低成本微调实战

教程XTuner大模型单卡低成本微调实战文档XTuner大模型单卡低成本微调实战B站视频指令微调，也叫指令微调，intruct大模型。

RessCris·2024-01-21 18:46

感赏（337）接收祝福！～我吸引到稳稳的参加高考的儿子最好的状态！

每天，起床、投射、默默的爱着小我，我知道自己微调适度，能在清晨开启快乐的时光！工作忙而不乱，累而不疲！忙得快乐，忙得欢喜！图片发自App感赏自己，能有分段投射的意识，只是偶尔会断片！

刘淑正·2024-01-21 15:01

Lodop打印设计（PRINT_DESIGN）介绍

（用于微调，普通调整可拖动调整元素位置，移动选中的单个或多个打印项）（2）第一排第二个功能，设置颜色。点击颜色方格的图标，可选预设的颜色，或者自定义颜色。

weixin_30902251·2024-01-21 14:01

Stable Diffusion

LoRa是大模型微调的一种基础方法，广泛应用于语言大模型、视觉大模型

saoqi_boy·2024-01-21 13:53

使用PEFT微调ChatGLM3-6B

系列文章目录该系列文章用于介绍使用peft库来进行大模型的微调第一章使用PEFT对ChatGLM3-6B进行LORA微调文章目录系列文章目录前言一、准备工作1.环境准备2.大模型准备：3.数据准备二、数据集准备和训练

saoqi_boy·2024-01-21 13:53

源2.0大模型适配LLaMA-Factory框架！

近日，源2.0开源大模型与LLaMA-Factory框架完成全面适配，用户通过LLaMA-Factory，即可快捷、高效地对不同参数规模的源2.0基础模型进行全量微调及高效微调，轻松实现专属大模型。

AI知识图谱大本营·2024-01-21 13:34

【llm 微调code-llama 训练自己的数据集一个小案例】

这也是一个通用的方案，使用peft微调LLM。

放飞自我的Coder·2024-01-21 13:33

羊驼系列大模型LLaMa、Alpaca、Vicuna

让大模型平民化LLaMa优势用到的数据：大部分英语、西班牙语，少中文模型下载地址https://huggingface.co/meta-llamaAlpaca模型Alpaca是斯坦福从Meta的LLaMA7B微调而来的全新模型

南宫凝忆·2024-01-21 13:59

开源大模型领域最重要的玩家们，在关心/担心什么

从2月份Meta发布的Llama，到3月份斯坦福大学微调Llama后发布的Alpaca，再到5月份出现的Falcon，世界各地的开源模型在「内卷」中快速进步。

开源社·2024-01-21 10:14

视频剪辑教程：如何批量制作滚动字幕，提升画面质感的方法

批量制作滚动字幕的方法：1、执行云炫AI智剪：支持AI智剪、分割视频、合并视频、视频画中画、视频色彩微调、自带srt字幕编辑器、嵌套合并、视频封面、视频转码等。

叩心·2024-01-21 09:50

【书生·浦语大模型实战营04】《(4)XTuner 大模型单卡低成本微调实战》学习笔记

《(4)XTuner大模型单卡低成本微调实战》课程文档：《XTuner大模型单卡低成本微调实战》1Finetune简介LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式1.1增量预训练微调使用场景

songyuc·2024-01-21 02:46

篇二：MindSpore在实际项目中的应用与挑战

我们使用迁移学习的方法进行微调。这种方法在一定程度上提高了模型的性能和泛化能力。其次，模型部署和运行效率也是实际项目中需要考虑的重要问题。在某些场景下，模型的运行速度和稳定性对于用户体验至关重要。

GT开发算法工程师·2024-01-20 22:05

（初研） Sentence-embedding fine-tune notebook

由于工作需要，需要对embedding模型进行微调，我调用了几种方案，都比较繁琐。先记录一个相对简单的方案。以下内容并不一定正确，请刷到的大佬给予指正，不胜感激！！！

gaohongfeng1·2024-01-20 11:31

没权、没钱、没资源，遭人排挤：要么忍，要么怼，要么走，别纠结

前一段时间，公司人事方面出现了人员岗位微调，一直在销售部做销售员的小何，被调整到车间

职路施语·2024-01-20 08:46

An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models

A:这篇论文试图解决的问题是如何在有限的标注数据下提高大型语言模型（LLMs）的监督微调（SupervisedFinetuning,SFT）效率。

Takoony·2024-01-20 07:08

手工微调embedding模型RAG检索能力

在RAG应用中，有一个我们可以去提升的环节就是——Embedding模型，我在之前的文章《大模型主流应用RAG的介绍——从架构到技术细节》也说过可以去微调embedding模型以便增强我们整体的检索能力

asd8705·2024-01-20 06:29

使用 GPT4 和 ChatGPT 开发应用：第四章到第五章

从提示工程、零-shot学习和少-shot学习到为特定任务微调模型，本章将为你

绝不原创的飞龙·2024-01-20 03:46

2020-3-3晨间日记

本月重要成果：本月刚刚开始，调整工作结构组成，合理分配时间微调中。今日三只青蛙/番茄钟成功日志-记录三五件有收获的事务处理掉了一笔小债务，不管怎样给自己点个赞。时间安排分配初步框架订好，也赞一个。

无聊踢球·2024-01-20 03:43

随心玩玩（十二）通义千问——LLM大模型微调

写在前面：使劲的摸鱼，摸到的鱼才是自己的~文章目录简介环境配置模型加载jupyter远程配置快速使用微调示例部署方案总结附录：ReActPrompting示例准备工作一：样例问题、样例工具准备工作二：ReAct

likeGhee·2024-01-20 01:55

Visio打开或取消箭头的自动吸附和自动连接（转）

但在画连接线时，Visio总是自动连接箭头与图形的固定节点，想要微调一下连接位置，就显得很不方便，需要关闭自动连接功能。

Mist_Orz·2024-01-19 23:16

极简生活抄书第171天：真正的整理是什么？

真正的整理应该是一种让自己重新正视与物品的关系并进行微调，从而创造更美好生活的绝佳学习的过程。整理的目标是创造更美好的生活，而不是被留或被扔的物品。方向找对了之后，接下来的操作就不

兮若耶·2024-01-19 21:52

“微调”有多么重要

前天，得到大学召开2019春季开学典礼，一位叫潘利华的演讲者讲了《微调改变世界》。收获颇多。他是广东一家可口可乐的销售经理。他讲了在店铺里陈设可口可乐的过程中。

余生活得更精彩·2024-01-19 19:12

C语言入门第一节-初识C语言

bilibili一.C语言的介绍由C编写应用：Unix,Linux,MySQL都是由C編写C程序由各种令牌组成，令牌可以是关键宇，标识符，常量，字符串值，或者是一个符号；1.特点①.高效性C语言具有汇编语言才具有的微调控制能力

_阿伟_·2024-01-19 18:48

书生·浦语大模型实战营第四节课笔记及作业

XTuner大模型单卡低成本微调实战1Finetune简介大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。

zpc1219·2024-01-19 17:30

书生·浦语大模型实战笔记-Day01

书生·浦语模型性能比较大模型如何做应用开源数据微调框架部署链接哔哩哔哩视频

carMacchiato·2024-01-19 17:29

书生·浦语大模型实战营笔记-第四节 XTuner 大模型单卡低成本微调实战

书生·浦语大模型实战营笔记第四节XTuner大模型单卡低成本微调实战文章目录书生·浦语大模型实战营笔记前言一、Finetune简介1.1两种微调模式的简介1.2指令微调1.3增量预训练微调1.4LoRa

biscuit279·2024-01-19 17:29

书生·浦语大模型实战营04课堂笔记

一、Finetune简介1.LLM下游应用中，两种微调模式一种是增量预训练：使用场景是让基座模型学习到一些新知识，如某个垂类领域的常识。

残星流影·2024-01-19 17:29

书生·浦语大模型实战营-学习笔记3

目录(3)基于InternLM和LangChain搭建你的知识库1.大模型开发范式（RAG、Fine-tune）RAG微调（传统自然语言处理的方法）2.LangChain简介（RAG开发框架）3.构建向量数据库

Kinno酱·2024-01-19 17:27

【昇思技术公开课笔记-大模型】Bert理论知识

ELMo预训练模型将文本数据结合上下文信息，转换为动态词向量，后根据下游任务训练不同的语言模型BERT同样将文本数据转换为动态词向量，能够更好地捕捉句子级别的信息与语境信息，后续只需对BERT参数进行微调

JeffDingAI·2024-01-19 16:21

让大模型忘掉隐私数据，卡内基开源TOFU

目前，多数大语言模型都是从网络上收集的大量数据进行预训练、微调。使得这些模型面临泄露用户隐私、数据安全等多种问题。尽管开发者提出了各种“遗忘”方法，能使大模型“忘记”训练数据中的某些隐私、敏感的数据。

RPA中国·2024-01-19 15:45

Bert模型的基本原理与Fine-tuning

文章目录基本原理BERT的输入Fine-tuning（微调）BERT用于sequence的分类任务BERT用于问答任务BERT用于NER（实体命名识别）本文主要讲解Bert模型的基本原理与Fine-tuning

zhong_ddbb·2024-01-19 14:37

大规模语言模型高效参数微调--P-Tuning 微调系列

P-Tuning该方法的提出主要是为了解决这样一个问题：大模型的Prompt构造方式严重影响下游任务的效果。比如：GPT-3采用人工构造的模版来做上下文学习(incontextlearning)，但人工设计的模版的变化特别敏感，加一个词或者少一个词，或者变动位置都会造成比较大的变化。同时，近来的自动化搜索模版工作成本也比较高，以前这种离散化的token的搜索出来的结果可能并不是最优的，导致性能不稳

hanscalZheng·2024-01-19 14:05

深度解析 P-tuning v2 为什么对大模型有效

/arxiv.org/pdf/2110.07602.pdf项目地址：https://github.com/THUDM/P-tuning-v2技术背景P-tuningv2的产生源于对bert类模型开创的微调

weixin_45079449·2024-01-19 14:05

使用微调大语言模型解析肌肉骨骼疼痛疾病的临床健康记录

论文下载地址：https://www.thelancet.com/journals/landig/article/PIIS2589-7500(23)00202-9/fulltext目的：使用经过微调的大型语言模型

AI明说·2024-01-19 14:04

P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

起源于使用deepprompttuning,在预训练模型的每一层使用continuousprompts，Deepprompttuning增加了continuousprompts的容量也缩小了在各种设置中进行微调的差距

Tsukinousag1·2024-01-19 14:04

openai模型个性化训练Embedding和fine-tuning区别

这种情况下通常有两种办法，一种是微调(fine-tu

程序员老狼·2024-01-19 14:03

还没搞懂嵌入（Embedding）、微调（Fine-tuning）和提示工程（Prompt Engineering）？...

theme:orange嵌入(Embedding)、微调(Fine-tuning)和提示工程(PromptEngineering)是AIGC模型的核心功能，合理运行这些功能，能实现一些复杂和意向不到的应用

青Cheng序员石头·2024-01-19 14:31

提示词工程：大语言模型的Embedding(嵌入和Fine-tuning（微调）

www.promptengineering.org/master-prompt-engineering-llm-embedding-and-fine-tuning/）的中文翻译，用以详细介绍Embedding（语义嵌入）和FineTuning（微调

AI明说·2024-01-19 14:30

大模型关键技术：上下文学习、思维链、RLHF、参数微调、并行训练、旋转位置编码、模型加速、大模型注意力机制优化、永久记忆、LangChain、知识图谱、多模态

大模型关键技术大模型综述上下文学习思维链CoT奖励建模参数微调并行训练模型加速永久记忆：大模型遗忘LangChain知识图谱多模态大模型系统优化AI绘图幻觉问题从GPT1-GPT4拆解GPTs对比主流大模型技术点旋转位置编码层归一化激活函数注意力机制优化大模型综述你知道嘛

Debroon·2024-01-19 14:14

82天系列，已盈利307.74%(第三天)

仅供学习交流用，跟单有风险操作逻辑1.依旧坚持昨天的观点2.拐点略微调整7800附近，如果上去继续持有，4H站不稳(数据看空)转空头，预计50小时内有方向3.目前看还算安全位，但绝对不意味没有3打头的BTC

Lan_8649·2024-01-19 13:12

开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（一）

一、前言基于真实生产级项目分享，帮助有需要的同学快速构建完整可交付项目项目流程包括（去掉业务部分）：开源模型测试，包括baichuan、qwen、chatglm、bloom数据爬取及清洗模型微调及评估搭建

charles_vaez·2024-01-19 12:30

大模型学习与实践笔记（六）

一、finetune简介两种微调模式：增量预训练与指令跟随1.增量预训练2.指令微调二、LoRA与QLoRA介绍三、XTuner介绍四、低显存玩转LLM的方法

AllYoung_362·2024-01-19 10:24

推荐频道

微调