finetune

finetune训练模型

在已有模型上finetune自己的数据训练一个模型1、准备训练数据和测试数据2、制作标签3、数据转换,将图片转为LMDB格式前三步的过程和如何利用自己的数据训练一个分类网络是一样的，参考处理即可。
tonydandelion2014·2023-11-25 20:09

24模型微调(finetune)

一、TransferLearning&ModelFinetune1.1TransferLearningTransferLearning：机器学习分支，研究源域(sourcedomain)的知识如何应用到目标域(targetdomain)传统的机器学习：对不同的任务分别训练学习得到不同的learningsystem，即模型，如上图有三个不同任务，就得到三个不同的模型迁移学习：先对源任务进行学习，得到
G5Lorenzo·2023-11-25 20:37

11.2 模型finetune

一、TransformLearning与ModelFinetune二、pytorch中的Finetune一、TransferLearning与ModelFinetune1.什么是TransferLearning
/home/liupc·2023-11-25 20:36

RAM模型从数据准备到pretrain、finetune与推理全过程详细说明

提示：RAM++模型：环境安装、数据准备与说明、模型推理、模型finetune、模型pretrain等文章目录前言一、环境安装二、数据准备与解读1.数据下载2.数据标签内容解读3.标签map内容解读三、
tangjunjun-owen·2023-11-25 20:03

用双目解决遇到的坑

SceneFlow的，--no-cuda参数要设置成false，这样就可以在gpu上跑原始的代码batch_size是12，太大了，在TrainImgLoader中调小，之前一直在main里面调小发现没效果，应该在finetune
weixin_30929195·2023-11-21 20:47

【转载】DL开源框架Caffe | 模型微调 （finetune）的场景、问题、技巧以及解决方案

https://blog.csdn.net/u010402786/article/details/70141261前言什么是模型的微调？使用别人训练好的网络模型进行训练，前提是必须和别人用同一个网络，因为参数是根据网络而来的。当然最后一层是可以修改的，因为我们的数据可能并没有1000类，而只有几类。把最后一层的输出类别和层的名称改一下就可以了。用别人的参数、修改后的网络和自己的数据进行训练，使得参
dopami·2023-11-21 11:22

NEFTune: 通过简单的噪声提升指令精调效果

NEFTune方法的原理仅使用一句话就可以描述清楚：在finetune过程的词向量中引入一些均匀分布的噪声即可明显地提升模型的表现：如上图，基于AlpacaEval进行评测，引入了噪声之后在Alpa
从流域到海域·2023-11-17 03:02

如何用bert做微信公众号自动问答问题

具体思路就是直接用bert的transformer做特征提取，也不finetune，直接把他的输出接着往下面贯，具体如下：1用哈工大训练好的bert，这样程序自动拉pretrainedfromtransformersimportBertTokenizer
wangmarkqi·2023-11-16 15:14

基于GPT3.5模型搭建的聊天系统BAIChat

2.BAIChat链接https://chatbot.theb.ai/#/chat/1686535596065GPT3研究背景最近的研究表明，在pretrain+finetune模型中，当模型适应了下游任务的训练集后
盘古开天1666·2023-11-16 11:37

Fine-tune之后的NLP新范式：Prompt越来越火，CMU华人博士后出了篇综述文章

从BERT开始，对预训练模型进行finetune已经成为了整个领域的常规范式。但是从GPT-3开始，一种新的范式开始引起大家的关注
人工智能与算法学习·2023-11-14 11:35

最新ChatGPT GPT-4 文本生成技术详解（附ipynb与python源码及视频讲解）——开源DataWhale发布入门ChatGPT技术新手从0到1必备使用指南手册（三）

2.2常见的文本摘要技术2.3基于OpenAI接口的文本摘要实验2.3.1简单上手版：调用预训练模型2.3.2进阶优化版：基于自定义语料finetune3文本纠错任务3.1什么是文本纠错？
小胡说人工智能·2023-11-11 10:48

【大模型-第一篇】在阿里云上部署ChatGLM3

本篇只是第一篇，仅仅只是部署而已，没有FINETUNE、没有Langchain更没有外挂知识库，所以从申请资源——>开通虚机——>部署GLM3全程只用了18分钟，后面试通其它步骤后，会继续写的。
cyber_1987·2023-11-11 08:43

mindspore mindcv图像分类算法；昇腾NPU加速使用；模型保存与加载

tutorials/en/r1.3/save_load_model.htmlhttps://github.com/mindspore-lab/mindcv/blob/main/docs/zh/tutorials/finetune.md1
loong_XL·2023-11-10 11:58

LLM与数据分析

目前有两种模式，第一种是基于大模型之上做垂直领域模型的FineTune，这个综合投入成本较大，更新的频率也较低，并不适用于
星星点灯1996·2023-11-10 09:05

数据库ChatGPT插件来了，SQL使用体验进一步起飞

原理实现原理是在ChatGPTAPI基础上做了一定的Promptengineering，没有用finetune，在标准SQL场景上效果已经非常不错，具体的syst
第四范式开发者社区·2023-11-06 08:15

pytorch 使用BART模型进行中文自动摘要

系列文章如何从大型模型（BART）finetune一个小模型及代码实现文本自动摘要评价方法-金字塔方法pytorch使用BART模型进行中文自动摘要目录系列文章摘要实现数据准备装载数据预览数据抽取部分模型
keep-hungry·2023-11-04 23:11

论文阅读：One Embedder, Any Task: Instruction-Finetuned Text Embeddings

这篇文章的重点就是提升embedding在不同任务和领域上的效果，特点是不需要用特定领域的数据进行finetune而是使用instuctionfinetuning就可以在不同的任务和领域上表现得很好。
comli_cn·2023-11-03 18:26

PaddleOCR在ubuntu18.0上finetune中文模型遇到的各种坑

第一次写文章，主要是遇见的坑太多，怕以后记不住配置：ubuntu18.0cuda11.2cudnn8.1paddle2.2-gpu下载官方paddle：https://www.paddlepaddle.org.cn/然后下载OCR：https://github.com/PaddlePaddle/PaddleOCR数据集制作参考：https://blog.csdn.net/Andrwin/artic
白禹赫·2023-10-29 17:09

【Bash】记录一个长命令换行的BUG

假设现在我要在terminal执行如下命令跑模型：CUDA_VISIBLE_DEVICES=6pythonfinetune.py-cconfigs/quantized/resnet32_cifar100_finetune.yml
Mr.zwX·2023-10-25 14:00

04.Finetune vs. Prompt

目录语言模型回顾大模型的两种路线专才通才二者的比较专才养成记通才养成记InstructionLearningIn-contextLearning自动Prompt部分截图来自原课程视频《2023李宏毅最新生成式AI教程》，B站自行搜索语言模型回顾GPT：文字接龙Howare__.Bert：文字填空How__you.使用大型语言模型就好比下图：小老鼠就能驾驭大象。大模型的两种路线专才主要利用模型解决某
oldmao_2000·2023-10-24 14:31

VGG16使用finetune

在使用vgg16预训练模型image-net对网络进行fine-tune的时候发现loss一直维持在12左右，准确率稳定在20%左右，并不会有明显的变化。使用三个通道叠加起来的准确率为85.58%训练15个epoch使用单通道训练15个epoch的准确率为：85.87%使用inceptionV3训练时候的准确率时:在vgg中得到的softmax后的结果，加权和为1的概率值。之后过了argmax之后
美环花子若野·2023-10-23 16:35

Parameter-efficient transfer learning系列之Adapter

来自：NLP日志提纲1简介2Adapter3Adapterfusion4总结参考文献1简介目前在大规模预训练模型上进行finetune是NLP中一种高效的迁移方法，但是对于众多的下游任务而言，finetune
zenRRan·2023-10-21 18:46

Parameter-efficient transfer learning系列之LoRA与BitFit

目前大规模语言模型在诸多任务上取得sota效果，Finetune全模型参数以适配下游任务虽然能取得不错的效果，但是却是一种低效的参数更新方式，归因于模型的庞大模型参数量带来的训练成本，从而限制了在诸多下游任务的应用
zenRRan·2023-10-21 18:46

深度学习笔面试知识点总结及题目

题目：一个已训练好的模型，如果用caffe进行finetune，该怎么做？
zichen7055·2023-10-21 06:42

初始化模型参数 python_Pytorch： 神经网络模型参数初始化与 Finetune

1参数初始化参数的初始化其实就是对参数赋值。而待学习的参数其实都是Variable，它其实是对Tensor的封装，同时提供了data，grad等接口，这就意味着可以直接对这些参数进行操作赋值。这就是PyTorch简洁高效所在。在pytorch中，有自己默认初始化参数方式，所以在你定义好网络结构以后，不进行参数初始化也是可以的。PyTorch在自定义变量及其初始化方法：self.fuse_weigh
weixin_39601088·2023-10-21 05:13

深度学习文本纠错实战——BART 微调finetune

今天学习一个新的自然语言处理任务——文本纠错。文本纠错这个领域其实有细分成很多不同的类型：如下图所示image.png其中不同的问题需要采取不同的策略进行解决。传统的文本纠错一般会分为两个步骤：错误检测和错误纠正。但是随着深度学习的发展，Seq2Seq的模型可以一步到位，端到端的解决文本纠错的问题。接下来笔者就来介绍一下，采用Bart模型进行文本纠错的实战过程。BART模型简介BART全称是：De
王同学死磕技术·2023-10-20 15:05

Pytorch代码分析-如何让Bert在finetune小数据集时更“稳”一点

Pytorch代码分析–如何让Bert在finetune小数据集时更“稳”一点前几天在知乎刷到邱震宇同学的一个文章，如何让Bert在finetune小数据集时更“稳”一点，主要是分析了一篇论文，感觉很有意思
biuHeartBurn·2023-10-16 11:27

深度学习之微调

预训练模型在介绍finetune之前，先了解一下什么是预训练模型。在搭建一个网络模型来完成一个特定的图像分类的任务时，首先，需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。
会的东西有点杂·2023-10-15 14:26

shape_based_matching lineMod开源代码学习

github开源代码地址：https://github.com/meiqua/shape_based_matching针对匹配精度问题，原作者采用了sub-pixel+icp的方法进行了最后的finetune
Dream_Ross·2023-10-11 12:17

Keras(二十二)使用keras实现resnet50模型做迁移学习-finetune

本文将介绍：使用keras实现resnet50模型实现迁移学习-finetune一，下载kaggle-10monkey数据通过下面的链接，下载dataset到本地目录intput中kaggle-10monkey
TFATS·2023-10-04 12:08

背诵不等于理解，深度解析大模型背后的知识储存与提取

即使模型能完整记住所有数据，也可能无法通过微调(finetune)提取这些知识，无法回答简单的问题。随着模型规模的增大，人们开始探索大模型是如何掌握大量知识的。
疯狂创作者·2023-10-01 18:45

Qwen-VL：多功能视觉语言模型，能理解、能定位、能阅读等

Overview总览摘要1引言2方法2.1模型结构2.2输入输出3训练3.1预训练3.2多任务预训练3.3监督finetune4评测4.1图像文本描述和视觉问答4.2面向文本的视觉问答4.3指代表达理解
猴猴猪猪·2023-09-23 21:00

[RF学习记录][参数读取]从yaml文件读取参数变量

对于比较多的参数，可以在yaml文件中定义好，在robot脚本中引用1、定义yaml文件文件内容如下，注意，变量和变量值之间要以4个字符分开yaml_demo_name:testertraing_gpt_finetune
qq_29707567·2023-09-23 11:33

微调大型语言模型(一)：为什么要微调(Why finetune)?

今天我们来学习Deeplearning.ai的在线课程微调大型语言模型(一)的第一课：为什么要微调(Whyfinetune)。我们知道像GPT-3.5这样的大型语言模型(LLM)它所学到的知识截止到2021年9月，那么如果我们向ChatGPT询问2022年以后发生的事情，它可能会产生“幻觉”从而给出错误的答案，再比如我们有一些关于企业的某些产品的业务数据，但是由于ChatGPT没有学习过这些数据，
-派神-·2023-09-22 12:54

ChatGLM-6B 做 LoRA fine tuning训练模型在闻达中使用

很简单，把finetune的模型整个文件夹拷贝到闻达的model目录下面闻达目录下example.config.yml改成config.yml然后编辑它修改配置指向你的模型glm6b:#path
qq_26689303·2023-09-21 04:23

【藏经阁一起读】（68）__《ECS技术实战指南》

预训练之后的模型还需要Finetune，大模型业务的几个关键环节，对应算力的需求都十分
逆境清醒·2023-09-16 08:28

使用RoBERT进行fine tune来复现GLUE的效果

文献二.ProprocessGLUEtaskdata2.1下载GLUE的数据集2.2预处理GLUE的数据集2.2.1算法思路与整体代码以及运行结果图2.2.2完整代码与处理结果三.使用预处理好的数据集进行finetune3.1
phac123·2023-09-12 10:35

Pytorch面试题整理（2023.09.10）

在加载了预训练模型参数之后，需要finetuning模型，可以使用不同方式finetune。
完美屁桃·2023-09-11 09:51

飞桨NLP学习

这里备注下自己做实体提取的finetune的训练笔记：(1)input_ids中加入了提示语prompt信息；(2)一个样本对应的output是：当前样本中“每个词状态=是实体start位置“、“每个词状态
风路丞·2023-09-09 18:39

[NLP]LLM---FineTune自己的Llama2模型

一数据集准备Let’stalkabitabouttheparameterswecantunehere.First,wewanttoloadallama-2-7b-hfmodelandtrainitonthemlabonne/guanaco-llama2-1k(1,000samples),whichwillproduceourfine-tunedmodelllama-2-7b-miniguanaco
舒克与贝克·2023-09-09 06:38

论文简读 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

LORA是一个解决大模型finetune的技术。现行的大模型(如GPT3,参数量175B
万里鹏程转瞬至·2023-09-09 06:07

huggingface 自定义模型finetune训练测试--bert多任务

背景：需要将bert改为多任务，但是官方仅支持多分类、二分类，并不支持多任务。改为多任务时我们需要修改输出层、loss、评测等。如果需要在bert结尾添加fc等也可以参考该添加方式。代码修改model这里把BertForSequenceClassification改为多任务importtorchimporttorch.nnasnnfromtypingimportList,Optional,Tupl
joyce_peng·2023-09-08 10:05

Windows10上使用llama-recipes(LoRA)来对llama-2-7b做fine-tune

刚刚在Windows10上搭建环境来对llama2做finetune，里面坑还是挺多的，这里把印象中的坑整理了一下以作备忘。
lhf2112·2023-09-03 04:24

ModaHub魔搭社区：ChatGLM-RLHF：无需微调 教程

目录使用方法效果展示对ChatGLM直接使用RLHF进行调整参数，无需传统的finetune|ModifyChatGLMparamswithonlyRLHF。
LCHub低代码社区·2023-08-31 09:22

超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用

鉴于大模型强大的任务处理能力，未来我们或将不再为每一个具体任务去finetune一个模型，而是使用同一个大模型，对不同任务设计其独有的prompt，以解决不同的任务问题。
汀、人工智能·2023-08-26 05:36

剪枝基础与实战(1): 概述

将从零详细介绍模型训练、稀疏化、剪枝、finetune的全过程，提供详细的源码及说明，有助于对剪枝的熟练掌握，后续也会对yolov8进行剪枝的介绍。
@BangBang·2023-08-25 14:22

超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用

鉴于大模型强大的任务处理能力，未来我们或将不再为每一个具体任务去finetune一个模型，而是使用同一个大模型，对不同任务设计其独有的prompt，以解决不同的任务问题。
·2023-08-24 15:22

3.2 QAT官方案例

该官方案例整体流程如下：定义我们的模型对模型插入QDQ节点统计QDQ节点的range和scale做敏感层分析(需要知道，那个层对精度指标影响较大，关闭对精度影响较大的层)导出一个带有QDQ节点的PTQ模型对模型进行finetune
Good@dz·2023-08-24 10:44

3.1 PTQ与QAT的介绍

版本之前)只具备PTQ一种量化形式（trtexec直接转换）各层精度不可控显示量化显性量化(trt8版本之后)支持带QDQ节点的PTQ以及支持带QDQ节点的QAT两种量化形式带QDQ节点的PTQ是没有进行Finetune
Good@dz·2023-08-24 10:43

深度学习|自监督学习、MAE学习策略、消融实验

自监督学习、MAE学习策略、消融实验自监督学习MAE学习策略消融实验自监督学习Pretrain-Finetune（预训练+精调）模式：迁移学习，通过在源域数据上学习知识，再迁移到下游其他目标任务上，提升目标任务上的效果
魔法自动机·2023-08-20 18:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他