Fine-tune

#LLM入门|Prompt#1.8_聊天机器人_Chatbot

专门任务设计：针对特定任务或行为进行设计，模型可针对该任务进行Fine-tune，提高效果和准确性。优势简化开发：减少了构建聊天机器人所需的工作量和复杂度。灵活性：模型可根据需求进行定
向日葵花籽儿·2024-03-12 18:39

OpenAI API 介绍

介绍开始我们的第一个例子模型查询可使用的模型预测结果创建一个预测对话创建一次对话编辑创建一个编辑图片生成一张图片修改图片创建图片的变体声音将录音转成文本翻译文件当前文件列表删除文件微调（Fine-tunes）创建Fine-tune
YGL_smile·2024-02-08 21:32

2024-01-07-AI 大模型全栈工程师 - AI 产品部署和交付

摘要2024-01-07周日杭州阴本节内容:如何选择GPU和云服务器，追求最高性价比如何部署自己的fine-tune的模型，向业务提供高可用服务如何控制内容安全，做好算法备案，确保合规课程内容1.硬件选型
流雨声·2024-02-02 10:43

什么是清越AI？peropure·AI正式上线

面对技术浪潮,清越科技(PeroPure)立足多样化生活场景、精准把握用户实际需求,持续精确Fine-tune技术能力,创新AI应用方式,于今年7月正式推出智能服务式AI产品——peropure·
yanling2023·2024-01-24 17:29

清越 peropure·AI 国内版ChatGP新功能介绍

面对技术浪潮,清越科技(PeroPure)立足多样化生活场景、精准把握用户实际需求,持续精确Fine-tune技术能力,创新AI应用方式,于今年7月正式推出智能服务式AI产品——peropure·
yanling2023·2024-01-24 17:52

认识并使用LlamaIndex

3.1方案1：用你的数据对LLM进行微调（fine-tune）3.2方案2：[检索增强生成（RAG）](https://docs.llamaindex.ai/en/latest/getting_started
南七行者·2024-01-22 13:16

（初研） Sentence-embedding fine-tune notebook

由于工作需要，需要对embedding模型进行微调，我调用了几种方案，都比较繁琐。先记录一个相对简单的方案。以下内容并不一定正确，请刷到的大佬给予指正，不胜感激！！！一.对BGE模型，如bge-large-zh、bge-large-en二.对sentensceembeddingbertmodel,如多语言模型distiluse-base-multilingual-cased-v1三.对于sente
gaohongfeng1·2024-01-20 11:31

书生·浦语大模型实战营-学习笔记3

目录(3)基于InternLM和LangChain搭建你的知识库1.大模型开发范式（RAG、Fine-tune）RAG微调（传统自然语言处理的方法）2.LangChain简介（RAG开发框架）3.构建向量数据库
Kinno酱·2024-01-19 17:27

基于NLP的恶意网页识别

基于NLP的恶意网页识别基于NLP的恶意网页识别引言项目目录回顾优化HTML标签提取结果使用预训练模型Fine-tune数据处理和模型训练模型训练与评估模型导出部署与预测总结基于NLP的恶意网页识别引言欢迎阅读
OverlordDuke·2024-01-14 05:22

GPT Understands, Too

1.介绍传统fine-tune（使用训练数据来微调模型参数），GPT在自然语言理解任务上未能取得很好的效果，关于NLU任务的一种新方法P-tuning，采用可训练的连续的promptembeddings
Tsukinousag·2024-01-12 06:23

Instruct GPT:training language models to follow instructions with human feedback

Fine-tune后，仅使用
WindyChanChan·2024-01-11 06:32

知识任务的解决方案-RAG

该系统包括两部分：RAG和fine-tune一、RAG大致思想就是给定一个问题/任务，先检索到数据源中最相关的文档，再用这些文档来生成回答。优点：1.为LLM提供动态实时的信息。
灵海之森·2024-01-10 09:35

对Stable Diffusion做fine-tune时遇见的bug

由于我的显卡比较垃圾(3050),加载模型时都用的torch.dtype=float16后来用下列方式保存模型：pipeline=StableDiffusionPipeline(text_encoder=text_encoder,vae=vae,unet=unet,tokenizer=tokenizer,scheduler=PNDMScheduler(beta_start=0.00085,beta
幼稚的云锣·2024-01-05 21:03

在Ubuntu22.04上部署Stable Diffusion

在AI绘画软件领域Stable-Diffusion（简称SD）在开源领域绝对是不二之选，他的插件方式可以让此软件具有更多的功能，开发者社群为此提供了大量免费高质量的外接预训练模型（fine-tune）和插件
BBM的开源HUB·2024-01-05 01:20

AI智能助手peropure·AI正式上线，打造场景化智慧服务空间

面对技术浪潮,清越科技(PeroPure)立足多样化生活场景、精准把握用户实际需求,持续精确Fine-tune技术能力,创新AI应用方式,于今年7月正式推出智能服务式AI产品——peropure·
仙剑魔尊重楼·2024-01-04 04:52

BERT: Pre-training of Deep Bidirectional Transformers for Language Understading

通过这种方式预训练的表示只需要一个额外的输出层来fine-tune一下就可以在众多任务上实现SOTA。BERT一共在7个自然语言处理任务上获得SOTA结果，并且将GLU
chansonzhang·2023-12-31 07:28

Huggingface T5模型代码笔记

0前言本博客主要记录如何使用T5模型在自己的Seq2seq模型上进行Fine-tune。1文档介绍本文档介绍来源于Huggingface官方文档，参考T5。
Q同学的nlp笔记·2023-12-27 19:14

标签正则化和硬标签、软标签、单标签、多标签

起因：最近在训练一个非常简单的二分类任务（计算描述两个实体的文本是否描述的是同一个实体），任务训练模式是用NLP大模型批量标注样本，在蒸馏后的robert_base上进行fine-tune，但是存在以下问题
云从天上来·2023-12-23 02:48

ChatGPT原理学习

区别：BERT：完形填空：中间扣空了预测；GPT：预测未来GPT1：先要有个预训练模型，然后基于具体的应用做fine-tune（下游任务做微调），才能用GPT2不搞fine-tune了，直接搞个大模型，
stevewongbuaa·2023-12-16 18:59

App2Check at EMit: Large Language Models for Multilabel Emotion Classification

Inthispaperwecomparetheperformanceofthreestate-of-the-artLLM-basedapproachesformultilabelemotionclassification:fine-tune
米个蛋·2023-12-04 14:00

ChatGPT的总体技术路线

基于自注意力机制的GPT3.5架构的大型语言模型（LLM）基础上，引入RLHF（基于人类反馈的强化学习）技术，通过预训练方法处理大模型序列数据来训练模型，通过“人工标注数据（人工反馈）+强化学习”来不断微调（Fine-tune
AIGC方案·2023-12-04 07:55

论文学习-Bert 和GPT 有什么区别？

这也是为什么Bert很容易用到下游任务，在做下游任务的时候，需要增加一些MLP对这些特征进行分类啥的，也就是所谓的微调fine-tune。在Bert的训练中，采用了MASK（完形填空）的思想，用句
老叭美食家·2023-12-01 12:28

源代码级OpenAI的GPT-3.5微调，手把手保姆级教程，chatgpt的接口

微调（fine-tune）是什么？
wgggfiy·2023-11-27 05:05

用python微调gpt-3.5

/gpt_trainning.jsonl'),purpose='fine-tune',)print(f'file_dict{file_dict}')#print(openai.File.retrieve
Channing Lewis·2023-11-27 04:32

2022最新版-李宏毅机器学习深度学习课程-P51 BERT的各种变体

之前讲的是如何进行fine-tune，现在讲解如何进行pre-train，如何得到一个pretrain好的模型。
QwQllly·2023-11-24 19:16

机器学习笔记

self-attention）循环神经网络（RNN）长短期记忆递归神经网络（LSTM）Transformer自监督学习（Self-SupervisedLearning）BERT预训练（Pre-train）微调（Fine-tune
czyxw·2023-11-21 01:57

浅谈BERT

可以通过给机器大量的文字，让机器读懂，这个过程叫预训练(pre-train)，然后再根据特定的任务给机器特定的有限的有关数据对pre-train的model进行微调(fine-tune)。
进步中的coder·2023-11-18 18:57

[sd_scripts]之train

/docs/train_README-zh.mdhttps://github.com/kohya-ss/sd-scripts/blob/main/docs/train_README-zh.md支持模型fine-tune
Kun Li·2023-11-16 04:00

Fine-tune之后的NLP新范式：Prompt越来越火，CMU华人博士后出了篇综述文章

作者|刘鹏飞来源|机器之心注：去年CMU博士后研究员刘鹏飞的一篇文章，可以从这里了解Prompt：近代自然语言处理技术发展的第四范式可能是预训练语言模型加持下的PromptLearning。近几年，NLP技术发展迅猛，特别是BERT的出现，开启了NLP领域新一轮的发展。从BERT开始，对预训练模型进行finetune已经成为了整个领域的常规范式。但是从GPT-3开始，一种新的范式开始引起大家的关注
人工智能与算法学习·2023-11-14 11:35

2022最新版-李宏毅机器学习深度学习课程-P50 BERT的预训练和微调

模型输入无标签文本（Textwithoutannotation），通过消耗大量计算资源预训练（Pre-train）得到一个可以读懂文本的模型，在遇到有监督的任务是微调（Fine-tune）即可。
QwQllly·2023-11-11 07:54

在预训练bert模型上fine-tune的一些经验（实习）

最近在改进一个研究语义进行二分类的分类器，原分类器是基于textcnn的，但是效果不是特别好，于是决定使用预训练bert模型进行微调（fine-tune），中间遇到了许多预料未及的问题，但是这些问题也让我学到了许多东西目录对数据集的处理模型训练主要代码和流程训练过程遇到的问题经验和所得对数据集的处理原数据集是
又三郎丶·2023-11-08 13:22

pytorch 使用BART模型进行中文自动摘要

系列文章如何从大型模型（BART）finetune一个小模型及代码实现文本自动摘要评价方法-金字塔方法pytorch使用BART模型进行中文自动摘要目录系列文章摘要实现数据准备装载数据预览数据抽取部分模型fine-tune
keep-hungry·2023-11-04 23:11

41 深度学习（五）：图片增强|Transfer Learning|VGG|resnet50(fine-tune)|InceptionNet

文章目录图片增强为什么要使用图片增强具体方式.flow_from_directory(directory)flow_from_dataframe迁移学习（TransferLearning）AlexNetVGGresnet50代码学习关键的源码分析InceptionNet图片增强为什么要使用图片增强数据增强是一种常用的神经网络优化技术，旨在加速神经网络的训练并提高其性能1.数据增强的作用是让有限的数
Micoreal·2023-11-01 09:19

ChatGLM2-6b小白部署教程(windows系统，16G内存即可，对显卡无要求，CPU运行)

一.前言近期清华KEG和智谱AI公司一起发布了中英双语对话模型ChatGLM2-6B(小尺寸LLM)，开源在https://github.com/THUDM/ChatGLM2-6B，可单机部署推理和fine-tune
Life_Is_Good占用·2023-10-28 03:06

针对多分类问题，使用深度学习--Keras进行微调提升性能

前面的文章对二分类问题用Keras进行了Fine-tune，使得模型的准确率进一步提升，此处对于多分类问题，尝试使用Fine-tune来提升性能。
weixin_44119674·2023-10-26 11:41

Fine-tune时代结束？清华P-Tuning v2大幅提升小模型性能，NER也可promp tuning了！

每天给你送来NLP技术干货！文|JayJay来自|高能AI近日，清华大学发布P-Tuningv2版本，其重点解决了Prompttuning在小模型上效果不佳的问题（如下图所示），并将Prompttuning拓展至更复杂的NLU任务，如MRC答案抽取、NER实体抽取等序列标注任务。P-Tuningv2并不是一个全新的方法，其事实上是将文本生成的prefix-tuning技术适配到NLU任务中，其主要
zenRRan·2023-10-26 07:13

VGG16使用finetune

在使用vgg16预训练模型image-net对网络进行fine-tune的时候发现loss一直维持在12左右，准确率稳定在20%左右，并不会有明显的变化。
美环花子若野·2023-10-23 16:35

Parameter-Efficient Transfer Learning for NLP

Abstract对大型预训练模型进行fine-tune是NLP领域一个有效的迁移学习机制。
chansonzhang·2023-10-21 18:13

How to Fine-Tune BERT for Text Classification?

文章目录论文信息1.论文内容2.论文结论2.1微调流程2.2微调策略(Fine-TuningStrategies)2.3FurtherPretrain3.论文实验介绍3.1实验数据集介绍3.2实验超参数3.3Fine-Tuning策略探索3.3.1处理长文本3.3.2不同层的特征探索3.3.3学习率探索（灾难性遗忘探索）3.3.4不同层使用不同学习率3.2FurtherPretraining探索3
iioSnail·2023-10-21 13:55

【实操】基于ChatGPT构建知识库

前言最近有些实践，因为后面要去研究fine-tune了，想着记录一下chatgpt+向量数据库构建知识库的一些实操经验，不记我很快就忘了，哈哈。首先，提一下为啥会出现向量数据库这个技术方案？
懒编程-二两·2023-10-16 07:52

prefix-tuning: optimizing continuous prompt for generation

现有的方法fine-tune，参数量太大，GPT2774M，GPT3175B。
onlyxinbaby·2023-10-16 01:42

深度学习之微调

在现代深度学习领域，精细调整（Fine-tune）已经成为一种非常重要的技术手段。预训练模型在介绍finetune之前，先了解一下什么是预训练模型。
会的东西有点杂·2023-10-15 14:26

大语言模型之十七-QA-LoRA

由于基座模型通常需要海量的数据和算力内存，这一巨大的成本往往只有巨头公司会投入，所以一些优秀的大语言模型要么是大公司开源的，要么是背后有大公司身影公司开源的，如何从优秀的开源基座模型针对特定场景fine-tune
shichaog·2023-10-13 17:06

微调GPT（fine-tune）与向量数据库结合-优化GPT

GPT回答问题GPT（GenerativePretrainedTransformer）是一种强大的预训练模型，它可以生成连贯且富有创造性的文本。然而，GPT并不是完美的，它在生成回答时存在一些问题：缺乏一致性：GPT可能会在不同的时间或在不同的上下文中给出不一致的回答。这是因为GPT是一个生成模型，它每次生成回答时都是从头开始的，没有记住之前的状态或回答。缺乏准确性：虽然GPT可以生成看起来很合理
小~小·2023-10-08 15:37

微调（fine-tune）

迁移学习不是一种算法而是一种机器学习思想，应用到深度学习就是微调（Fine-tune)。
盐巴饭团193·2023-10-06 19:29

LLM-大模型训练-步骤(一)：词表扩充【sentencepiece】

在通用中文语料上训练了基于sentencepiece的20K中文词表并与原版LLaMA模型的32K词表进行合并排除重复的token后，得到的最终中文LLaMA词表大小为49953需要注意的是，在fine-tune
u013250861·2023-09-23 22:37

对比学习NLP

非联合方法自监督：构造增强样本，fine-tune模型：Bert-CT，ConSERT，SimCSE。
zhurui_xiaozhuzaizai·2023-09-22 03:51

大语言模型之八-提示工程（Prompt engineer）

LLM中的prompt方法主要用于fine-tune阶段，即在预训练的基础上，针对特定任务的模板或提示语，这些提示语通常包含了问题的关键信息，例如问题类型、答案类型、限制条件等，通过少量的标注数据（提示语
shichaog·2023-09-12 16:10

Windows10上使用llama-recipes(LoRA)来对llama-2-7b做fine-tune

刚刚在Windows10上搭建环境来对llama2做finetune，里面坑还是挺多的，这里把印象中的坑整理了一下以作备忘。llama-recipes是meta的开源项目，Github地址为：GitHub-facebookresearch/llama-recipes:ExamplesandrecipesforLlama2modelllama2同样也是meta的开源LLM模型，因此用此项目做fine
lhf2112·2023-09-03 04:24

keras ”冻结“ 网络层

在进行fine-tune时我们经常会需要这项操作。在使用固定的embedding层处理文本输入时，也需要这个技术。
Matrix0·2023-09-01 18:46
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他