微调第13页

用通俗易懂的方式讲解：对 embedding 模型进行微调，我的大模型召回效果提升了太多了

在外挂知识库的过程中，embedding模型的召回效果直接影响到大模型的回答效果，因此，在许多场景下，我们都需要微调我们的embedding模型来提高我们的召回效果。

Python算法实战·2024-01-12 17:30

评估LLM在细胞数据上的实用性(2)-细胞层面的评估

tzc_fly·2024-01-12 17:27

羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读

论文地址：https://arxiv.org/pdf/2307.09288.pdfd代码地址：GitHub-facebookresearch/llama-recipes:ExamplesandrecipesforLlama2model问答用了多少个gpu？这篇文档中使用了3.3MGPU小时的计算，使用的硬件类型是A100-80GB，可以扩展到2000个GPU，但这些计算的功耗估计并不包括互连或非G

andeyeluguo·2024-01-12 17:59

Qt QSpinBox微调框控件

文章目录1属性和方法1.1值1.2步长1.3循环1.4加速1.5前缀和后缀1.6信号和槽2实例2.1布局2.2代码实现微调框，允许用户按照一定的步长，来增加或减少其中显示的数值修改微调框数值的方式包括：

theRavensea·2024-01-12 16:44

RAG 详解

RAG还是微调？如何评估RAG？

javastart·2024-01-12 12:07

原创 | 一文读懂ChatGPT中的强化学习

创建者将监督学习和强化学习相结合来微调ChatGPT，强化学

javastart·2024-01-12 12:07

【深度学习：视觉基础模型】视觉基础模型 (VFM) 解释

SegGPTMicrosoft'sVisualChatGPT视觉基础模型的应用视觉基础模型的好处可视化基础模型的挑战与考虑因素解决视觉人工智能中与伦理、公平和偏见相关的问题保护隐私、合规性和数据安全成本管理微调可视

jcfszxc·2024-01-12 09:23

数据驱动下的LLM优化：如何从数据集中发掘最大价值？

来源，公众号：芝士AI吃鱼本文聚焦于通过使用精心策划的数据集对LLM进行微调，以提升其建模性能。具体来说，本文强调了涉及修改、使用或操纵数据集进行基于指令的微调的策略，而不是改变模型架构或训练算法。

wwlsm_zql·2024-01-12 09:50

GPT Understands, Too

1.介绍传统fine-tune（使用训练数据来微调模型参数），GPT在自然语言理解任务上未能取得很好的效果，关于NLU任务的一种新方法P-tuning，采用可训练的连续的promptembeddings

Tsukinousag·2024-01-12 06:23

大语言模型参数微调过程（附完整代码）

这是一个金融领域大模型微调的具体代码执行过程，具体代码可以详见git仓库。

抓个马尾女孩·2024-01-12 05:23

今日最佳AI论文5篇：高效微调、图生3D、AI Agent、大模型ChatGPT、图学习

本文整理了2023年1月9日发表在ArXiv上的AI论文中最热门的TOP5。论文热度排序、论文标签、中文标题、推荐理由和论文摘要由AI论文推荐智能体赛博马良-AI论文解读达人（saibomaliang.com）提供。如需查看其他最热论文，欢迎移步saibomaliang.com^_^TOP1Dr2Net:DynamicReversibleDual-ResidualNetworksforMemory

夕小瑶·2024-01-12 05:13

【通义千问】大模型Qwen GitHub开源工程学习笔记（5）-- 模型的微调【全参数微调】【LoRA方法】【Q-LoRA方法】

微调

大表哥汽车人·2024-01-12 05:05

pytorch11：模型加载与保存、finetune迁移训练

序列化与反序列化概念1.2pytorch中的序列化与反序列化1.3模型保存的两种方法1.4模型加载两种方法二、断点训练2.1断点保存代码2.2断点恢复代码三、finetune3.1迁移学习3.2模型的迁移学习3.2模型微调步骤

慕溪同学·2024-01-12 03:14

【扩散模型】11、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构

文章目录一、什么是StableDiffusion二、Diffusers库三、微调、引导、条件生成3.1微调3.2引导3.3条件生成四、StableDiffusion4.1以文本为条件生成4.2无分类器的引导

呆呆的猫·2024-01-12 01:13

恋爱多年我却恐婚，现在面前有一瓶，去除恐婚水要不要喝？

有解药，我有什么不敢喝，有解药我有什么逮什么喝这道题是比yesorno复杂的多的题想问一下现场，已婚的劳驾举举手了，本来都是生龙活虎的人，怎么都开始循循善诱了呢（转场说）跟大家一起把视角稍微调换过来导演大人打扰一下怕垮怕丢人

林糖糖·2024-01-12 01:25

大模型学习第四课

学习目标：XTuner大模型单卡低成本微调实战学习内容：Finetune简介XTuner介绍8GB显卡玩转LLM动手实战环节学习时间：20240110学习产出：Finetune简介增量预训练微调指令跟随微调

敲键盘的喵桑·2024-01-11 21:38

LORA的基本原理

本文将介绍如下内容：什么是Lora高效微调的基本原理LORA的实现方式LORA为何有效？

TFATS·2024-01-11 19:56

SFT会改善LLM性能，RLHF可能会损害性能

SFT（StructuredFine-Tuning）是一种模型优化技术，它通过在预训练的语言模型上进行有针对性的微调，以适应特定任务或领域。

小草cys·2024-01-11 19:26

节省时间：AI 模型靠谱下载方案汇总

尤其是，需要折腾到本地或者国内服务器上对模型进行后续的微调的时候，首先需要完成模型的

soulteary·2024-01-11 18:57

一次QLoRA微调实践

本文作者使用一种名为QLoRA的方法，通过量化和LoRA技术对MoE模型Mixtral-8x7B进行微调，以期大幅提高其性

Baihai IDP·2024-01-11 18:15

误会是这样产生的

我因为被案主的情绪感染，危娜老师给我作了微调，之后，危娜老师问：‘行医第一要素是什么？’坐在我左手边的小伙伴说：‘自己不能被感染。’危娜老师说：‘自己不能被感染，对，行医第一要素是注意安全。’

紫玉米·2024-01-11 18:52

RAG：让大语言模型拥有特定的专属知识

本文就来介绍一下RAG的技术原理，并和Fine-tuning（微调）进行对比，同

博文视点·2024-01-11 15:52

02.构建和使用的大型语言模型（LLMs）阶段

此外，它还为我们提供了必要的知识，可以保留或微调现有的开源LLM架构，以适应我们自己的特定领域的数据集或任务。

这就是编程·2024-01-11 14:26

从零开始复现BERT，并进行预训练和微调

从零开始复现BERT代码地址：https://gitee.com/guojialiang2023/bert模型BERT是一种基于Transformer架构的大型预训练模型，它通过学习大量文本数据来理解语言的深层次结构和含义，从而在各种NLP任务中实现卓越的性能。核心的BERTModel类集成了模型的主体架构。它首先利用BERTEncoder编码器来处理输入的文本。这个编码器由多个Transform

青云遮夜雨·2024-01-11 11:28

ChatGLM多轮对话微调-多轮对话训练数据的自动生成（标注）

通常使用大模型进行业务数据微调的时候，需要对历史对话数据进行细粒度的整理，比如：1-3轮对话数据的微调，以便模型能够学会多轮对话。

wxl781227·2024-01-11 10:45

AI数据微调找免费GPU遇阻之路

赶在如火如荼的2023AI的尾声，开始研究AI，在了解了当前技术的发展以及试用了多个AI模型和平台之后，计划本地安装Llama.cpp，利用积累的威胁建模数据和检测规则数据进行数据微调，实现自动化威胁建模和

manok·2024-01-11 10:12

使用AI平台处理训练和微调数据

本地可以运行模型之后，计划自己利用已有的数据进行数据训练和模型微调。

manok·2024-01-11 10:09

10、InstructGPT：Training language models to follow instructions with human feedback

简介GPT的发展历程GPT-1用的是无监督预训练+有监督微调。GPT-2用的是纯无监督预训练。GPT-3沿用了GPT-2的纯无监督预训练，但是数据大了好几个量级。

C--G·2024-01-11 06:34

Training language models to follow instructions with human feedback

首先收集标注者对于理想模型行为的演示用于微调GPT-3（监督学习），然后收集对于模型输出

qq_43901463·2024-01-11 06:27

chatgpt的基本技术及其原理

ChatGPT是一种基于生成式预训练的语言模型，它的基本技术包括预训练和微调。下面我将为你解释这些技术及其原理。

andeyeluguo·2024-01-11 06:20

《Training language models to follow instructions》论文解读--训练语言模型遵循人类反馈的指令

在本文中，我们展示了一种方法，通过对人类反馈进行微调（核心idea），在广泛的任务中使语言模型与用户意图保持一致。

andeyeluguo·2024-01-11 06:44

书生·浦语大模型实战营第一课笔记

Horace_01·2024-01-11 05:04

InternLM第1节课笔记

预训练InternLM-Train高可扩展：8卡-千卡兼容主流：支持HuggingFace微调XTuner：自动优化加速、适配多种开源生态，显存优化增量续训有监督微调部署LMDeploy接口：Python

Jamiechoi·2024-01-11 05:34

大模型学习之书生·浦语大模型4——基于Xtuner大模型微调实战

基于Xtuner大模型微调实战Fintune简介海量数据训练的basemodel指令微调InstructedLLM增量预训练微调增量数据不需要问题，只需要答案，只需要陈述类的数据指令跟随微调指定角色指定问题给对应的

uncle_ll·2024-01-11 00:01

2023-10-23我这样算不算全职妈妈？

，小怪的一年级从下半学期开始两学期课做一学期上，大怪从网课改为正常上课，经过大半年的调整，现在学习生活也慢慢正常和有序，今年我的身体一直不太好，整个人精力差了很多，这大半年慢慢养好了一些，现在终于能稍微调整一下状态

每天一杯蜜茶·2024-01-11 00:12

@关于大模型的基础知识

@关于大模型的基础知识大模型的基础包括模型训练、数据集准备、微调和评估四大部分文章目录从大模型的训练说起大模型的基础调用大模型：例如调用llama2模型微调大模型从大模型的训练说起大模型的基础transformerself-attention

专心研究·2024-01-10 19:38

专心研究·2024-01-10 19:37

06.构建大型语言模型步骤

图1.9本书中介绍的构建LLMs阶段包括实现LLM架构和数据准备过程、预训练以创建基础模型，以及微调基础模型以LLM成为个人助理或文本分类器。

这就是编程·2024-01-10 17:52

书生·浦语大模型实战营第一次课堂笔记

还介绍了书生·浦语大模型的性能在多个数据集上全面超过了相似量级或相近量级的模型微调：增量续训使用场景:让基座模型学习到一些新知识，如某个垂类领域知识等训练数据:文章、书籍、代码有监督微调使用场景:让模型学

Unicornlyy·2024-01-10 14:56

如何创建内容安全策略（CSP 标头）

这是一个广泛支持的安全标准，可以通过微调允许浏览器在您的网站上加载的资源来帮助您防止基于注入的攻击。

allway2·2024-01-10 11:09

PyTorch中不同学习率设置

如果某些网络层已经预训练过，那么联合训练时只希望微调它，则为其设置小一些的学习率，如果希望固定其参数，则学习率设置为0（也可以在优化器中忽略它）为不同卷积层设置不同的学习率optimizer=Adam(

YHFHing·2024-01-10 10:07

pytorch -不同网络层设置不同学习率

pytorch-不同网络层设置不同学习率当使用预训练模型时，如果对主干网络以外的网络分支进行了单独的修改并进行初始化，而主干网络层的参数仍采用预训练模型的参数进行初始化，则希望在训练过程中，主干网络只进行微调

小程是个什么鬼·2024-01-10 10:36

分层学习率设置和学习率衰减（pytorch）

分层学习率设置和学习率衰减（pytorch）1分层学习率设置在使用bert或者其它预训练模型进行微调，下接其它具体任务相关的模块时，会面临这样一个问题，bert由于已经进行了预训练，参数已经达到了一个较好的水平

风居住的街道~·2024-01-10 10:02

【LLM 论文阅读】NEFTU N E: LLM微调的免费午餐

指令微调的局限性指令微调对于训练llm的能力至关重要，而模型的有用性在很大程度上取决于我们从小指令数据集中获得最大信息的能力。

致Great·2024-01-10 09:16

LLM调研笔记

这里写目录标题LLM调研1.外挂知识库2.微调数据prompting和fine-tuning的对比3.NLP的发展4.大语言模型的涌现能力5.大模型的几个关键技术6.数据预处理7.主流架构8.模型训练9

国家一级假勤奋大学生·2024-01-10 07:24

LLaMA Efficient Tuning

文章目录LLaMAEfficientTuning安装数据准备浏览器一体化界面单GPU训练train_bash1、预训练pt2、指令监督微调sft3、奖励模型训练rm4、PPO训练ppo5、DPO训练dpo

小田_·2024-01-10 07:22

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库

uncle_ll·2024-01-10 07:43

NLP预训练方法：从BERT到ALBERT详解

只需要增加一个输出层，就可以对预训练的BERT表征进行微调，就能够为更多的任务创建当前的最优模型。使用的是Transformer，相对于rnn而言更加高效、能捕捉更长距离的依赖。

nnnancyyy·2024-01-10 06:41

若水主动为什么买消费龙头

这二天若水主动做了一些什么大白这二天做了一些仓位微调，这里先回答一些大家比较关心的问题。1、若水主动（天天基金）做了哪些调整？

大白君的奇思妙想·2024-01-10 03:22

[笔记]书生·浦语大模型全链路开源体系

书生浦语大模型开源产品开源大模型系列大模型部署应用流程书生浦语全链条开源体系数据-预训练框架-微调框架-部署工具-测评工具-agent应用工具箱开源数据详细介绍预训练框架介绍微调框架介绍评测框架OpenCompass

贝利&桃子·2024-01-10 03:38

推荐频道

微调