E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
TUNING
微调入门篇:大模型微调的理论学习
2、大模型微调的方式(1)全量微调(FullFine-
tuning
):这个其实算不上
程序猿小三
·
2024-01-31 19:21
大模型
微调
语言模型
huggingface 的trainer训练框架优势
框架支持了最新的各种NLP预训练语言模型,使用者可以很快速的进行模型的调用,并且支持模型furtherpretraining和下游任务fine-
tuning
。
be_humble
·
2024-01-31 07:57
人工智能
深度学习
python
基于Prompt Learning的信息抽取
PTR:Prompt
Tuning
withRulesforTextClassification清华;liuzhiyuan;通过规则制定subpromptRelationExtractionasOpen-bookExamination
wang2008start
·
2024-01-30 09:37
prompt
信息抽取
关系抽取
实体识别
文本分类
Prompt Learning 的几个重点paper
Prefix
Tuning
:Prefix-
Tuning
:OptimizingContinuousPromptsforGeneration在输入token之前构造一段任务相关的virtualtokens作为
wang2008start
·
2024-01-30 09:29
prompt
深度学习
人工智能
VLM 系列——Llava1.5——论文解读
一、概述1、是什么Llava1.5是llava的升级全称《ImprovedBaselineswithVisualInstruction
Tuning
》,是一个多模态视觉-文本大语言模型,可以完成:图像描述
TigerZ*
·
2024-01-29 21:00
AIGC算法
人工智能
AIGC
计算机视觉
深度学习
transformer
VLM 系列——Instruct BLIP——论文解读
一、概述1、是什么InstructBLIP全称《InstructBLIP:TowardsGeneral-purposeVision-LanguageModelswithInstruction
Tuning
TigerZ*
·
2024-01-29 21:29
AIGC算法
AIGC
计算机视觉
深度学习
图像处理
人工智能
VLM 系列——Llava——论文解读
一、概述1、是什么Llava全称《VisualInstruction
Tuning
》,是一个多模态视觉-文本大语言模型,可以完成:图像描述、视觉问答、根据图片写代码(HTML、JS、CSS),潜在可以完成单个目标的视觉定位
TigerZ*
·
2024-01-29 21:57
AIGC算法
AIGC
深度学习
transformer
计算机视觉
人工智能
python&anconda系列(亲测有效):ChatGLM:win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-
Tuning
v2 的微调
ChatGLM:win11部署大模型实例并正常启动、ChatGLM2-6B模型基于P-
Tuning
v2的微调一.anconda1.anconda安装2.环境变量配置3.使用过程中的问题已经解决的问题环境方面
坦笑&&life
·
2024-01-29 15:20
大数据
python
dubbo
开发语言
AIGC知识速递——Google的Bert模型是如何fine-
tuning
的?
这些模型已经在大量文本数据上进行过预训练了,我们如何对BERT模型进行fine-
tuning
呢?准备和预处理数据:集针对特定任务的数据集。例如,情感分析任务的数据集通常包含文本和对应的情感标签
OJAC近屿智能
·
2024-01-29 10:44
AIGC
bert
人工智能
深度学习
自然语言处理
RLHF
mysqld install mysql default_MySQL安装默认配置
查看MySQL默认数据保存地,执行语句:SELECT@@databir;查看MySQL安装文件路径,执行语句:SELECT@@basedir;MySQL默认配置文件:#Otherdefault
tuning
values
量子游走
·
2024-01-28 17:33
mysqld
install
mysql
default
AAAI 2024优秀论文汇总!包含图神经网络、多模态、时间序列等热门方向
图神经网络1、Fine-
tuning
GraphN
AI热心分享家
·
2024-01-26 18:33
神经网络
人工智能
深度学习
腾讯LLaMA Pro大模型:突破大模型微调的知识遗忘难题
引言:大模型微调中的挑战在人工智能的发展过程中,大型语言模型(LLM)的微调(fine-
tuning
)始终是提升模型在特定任务上性能的关键。然而,微调过程中常面临一个主要挑战:知识遗忘。
努力犯错
·
2024-01-26 18:40
llama
人工智能
深度学习
chatgpt
自然语言处理
gpt-3
【LLM问答】两阶段的对话式问答模型ChatQA思路和兼看两阶段的RAG知识问答引擎QAnything
一、ChatQA1.1微调如下图,ChatQA微调包含两个阶段,SupervisedFine-
tuning
和Context-EnhancedInstruction
Tuning
1.1.1阶段一:SFT(SupervisedFine-
tuning
余俊晖
·
2024-01-26 06:48
大语言模型
自然语言处理
人工智能
机器学习
深度学习
LLM
大语言模型
自然语言处理
更高效的大模型调优方法,华盛顿大学推出“代理调优”
为了提升模型的调优效率,华盛顿大学和艾伦AI实验室的研究人员推出了全新方法——Proxy
Tuning
(代理调优)。
RPA中国
·
2024-01-25 06:14
人工智能
深度学习
Monitoring Docker and The importance of monitoring英翻汉练习2024/1/24
WenowknowsomewaystooptimizeourDockerdeployments.Wealsoknowhowtoscaletoimproveperformance.Buthowdoweknowthatour
tuning
assumptionswerecorrect
DarkFlameM
·
2024-01-25 01:29
docker
容器
运维
【机器学习】机器学习8大调参技巧!
原文出处:https://analyticsindiamag.com/top-8-approaches-for-
tuning
-hype
风度78
·
2024-01-24 16:55
机器学习
人工智能
大模型参数高效微调技术原理综述
然而,随着模型规模的增大,全量微调(fullfine-
tuning
)所需的计算和存储资源也急剧增加,这使得在消费级硬件上实现全量微调变得不可行。为了解决这个问题,参数高效微调技术应运而生。
百度_开发者中心
·
2024-01-24 15:11
人工智能
自然语言处理
深度学习
Prompt
Tuning
:大模型微调实战
在Prompt
Tuning
之前,Fine
tuning
是常用的微调方法。Fine
tuning
是通过使用大模型进行下游任务重训的方法,但由于大模型参数量过大,Finetun
百度_开发者中心
·
2024-01-24 15:41
prompt
人工智能
深度学习
自然语言处理
第六课:Prompt
流程prompt设计课程ppt及代码地址2、学习心得:3、经验分享:4、课程反馈:5、使用MindSpore昇思的体验和反馈:6、未来展望:第六课:Prompt1、学习总结:Prompt介绍Fine-
tuning
Recapan
一条大蟒蛇6666
·
2024-01-24 09:08
昇思技术公开课学习笔记
prompt
ardupilot 飞机的关键参数设置(电池+电机+滤波器)
,主要参考SettingtheAircraftUpfor
Tuning
0.序言调整设置飞机的参数以下参数应根据您的飞机规格正确设置。每一个都会影响调整过程的质量。
魔城烟雨
·
2024-01-23 16:04
ardupilot学习
算法
mcu
单片机
线性代数
LLMs之Vanna:Vanna(利用自然语言查询数据库的SQL工具+底层基于RAG)的简介、安装、使用方法之详细攻略
LLMs之Vanna:Vanna(利用自然语言查询数据库的SQL工具+底层基于RAG)的简介、安装、使用方法之详细攻略目录Vanna的简介1、用户界面2、RAGvs.Fine-
Tuning
3、为什么选择
一个处女座的程序猿
·
2024-01-23 10:28
NLP/LLMs
sql
数据库
RAG
大语言模型
AI大模型开发架构设计(4)——人人需要掌握的大模型微调
文章目录人人需要掌握的大模型微调1大模型Fine-
tuning
(微调)需要具备三个方面的能力Fine-
tuning
(微调)何为Fine-
tuning
(微调)什么情况下使用微调?怎么微调?
讲文明的喜羊羊拒绝pua
·
2024-01-23 04:59
AIGC
AIGC
Prompt
Engineer
LangChain
Fine-tuning
LoRA
太通透了!大模型接入业务系统的最佳实践来了
One-Shot,Few-Shot链式思维任务分解如何在PROMPT提示语中嵌入业务知识四、通过RAG(检索增强)方式接入RAG的实现RAG的流程知识检索如何实现业务接入RAG检索的例子五、通过Fine-
tuning
机器学习社区
·
2024-01-23 01:33
大模型
数据库
大模型
模型微调
prompt
检索增强生成
掌握大模型这些优化技术,优雅地进行大模型的训练和推理!
然而,大量实验证明,在高质量的训练语料进行指令微调(Instruction-
tuning
)的前提下,超过百
机器学习社区
·
2024-01-23 01:02
大模型
自然语言
人工智能
大模型
算法工程师
LLM
AQE优化和源码
介绍AQE全称是AdaptiveQueryExecution,官网介绍如下Performance
Tuning
-Spark3.5.0DocumentationAQE做了什么AQE是SparkSQL的一种动态优化机制
这个程序猿可太秀了
·
2024-01-22 17:56
spark内核
spark
AQE
Spark源码
Spark优化
gpt-2 生成文本_对gpt 2进行了微调,以实现神奇的收集风味文本生成
gpt-2生成文本Atemplateforfine
tuning
yourownGPT-2model.用于微调您自己的GPT-2模型的模板。
weixin_26730921
·
2024-01-22 12:56
python
java
vue
nlp
ViewUI
Knowledgeable Prompt-
tuning
: Incorporating Knowledge into Prompt Verbalizer for Text Classification
1标题+作者KPT,将知识引入PromptVerbalizer处理文本分类任务,清华大学2摘要在低数据场景下,Prompt-
tuning
(PT)比fine-
tuning
(FT)效果好,PT将分类问题转为带掩码的语言模型问题
Navajo_c
·
2024-01-22 12:23
EE
机器学习
深度学习
自然语言处理
Transformer and Pretrain Language Models3-1
contenttransformerattentionmechanismtransformerstructurepretrainedlanguagemodelslanguagemodelingpre-trainedlanguemodels(PLMs)fine-
tuning
approachesPLMsafterBERTapplicationsofmaskedLMfrontiersofPLMstran
ringthebell
·
2024-01-22 10:27
大模型
transformer
语言模型
深度学习
【LLM-agent】function call功能、Agent
Tuning
微调
所以为了提高模型准确识别和调用函数的能力,如agent
tuning
就是利用多个agent任务交互轨迹,对LLM进行sft微调,文章目录note一、functioncall1.functio
山顶夕景
·
2024-01-22 08:16
LLM大模型
深度学习
agent
大模型
LLM
function
call
AI大模型中的Bert
2.预训练+微调(Pre-training+Fine-
tuning
)的策略:BERT模型先在大规模无标签文本数据上进行预训练,学习语言的一般性模式,然后在具体任务的标签数据上进行微
永远的HelloWorld
·
2024-01-22 07:10
大模型
AI大模型
人工智能
bert
自然语言处理
[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning & Delta-learning
模型的趋势ModelScaling:模型越来越大Difficult
Tuning
:微调越来越难Prompt-Learning基本组成与流程介绍预训练和fine-
tuning
有一定的gap。
N刻后告诉你
·
2024-01-22 04:36
深度学习
学习
笔记
prompt
An Experimental Design Framework for Label-Efficient Supervised Fine
tuning
of Large Language Models
A:这篇论文试图解决的问题是如何在有限的标注数据下提高大型语言模型(LLMs)的监督微调(SupervisedFine
tuning
,SFT)效率。
Takoony
·
2024-01-20 07:08
语言模型
人工智能
深度学习
Bert模型的基本原理与Fine-
tuning
文章目录基本原理BERT的输入Fine-
tuning
(微调)BERT用于sequence的分类任务BERT用于问答任务BERT用于NER(实体命名识别)本文主要讲解Bert模型的基本原理与Fine-
tuning
zhong_ddbb
·
2024-01-19 14:37
深度学习
自然语言处理
推荐系统
自然语言处理
BERT
hilbert
transform
大规模语言模型高效参数微调--P-
Tuning
微调系列
P-
Tuning
该方法的提出主要是为了解决这样一个问题:大模型的Prompt构造方式严重影响下游任务的效果。
hanscalZheng
·
2024-01-19 14:05
大语言模型
机器学习
人工智能
深度学习
深度解析 P-
tuning
v2 为什么对大模型有效
理论部分论文及项目地址论文地址:https://arxiv.org/pdf/2110.07602.pdf项目地址:https://github.com/THUDM/P-
tuning
-v2技术背景P-
tuning
v2
weixin_45079449
·
2024-01-19 14:05
NLP大模型基础
人工智能
机器学习
深度学习
预训练范式提示学习方法一览(PET, Prefix-
tuning
,P-
tuning
,prompt
tuning
, PPT,SPoT, Prompt-
tuning
鲁棒性研究)
一:Pattern-ExploitingTraining(PET)它通过人工构建的模版与BERT的MLM模型结合,能够起到非常好的零样本、小样本乃至半监督学习效果,而且该思路比较优雅漂亮,因为它将预训练任务和下游任务统一起来了。然而,人工构建这样的模版有时候也是比较困难的,而且不同的模版效果差别也很大,如果能够通过少量样本来自动构建模版,也是非常有价值的。主要的思想是借助由自然语言构成的模版(英文
zhurui_xiaozhuzaizai
·
2024-01-19 14:04
自然语言处理
深度学习
人工智能
自然语言处理
P-
Tuning
v2: Prompt
Tuning
Can Be Comparable to Fine-
tuning
Universally Across Scales and Tasks
prompt-
tuning
v1当模型尺寸较小时,尤其是小于100亿个参数时,它仍然表现不佳。
Tsukinousag1
·
2024-01-19 14:04
python
机器学习
深度学习
人工智能
大数据
openai模型个性化训练Embedding和fine-
tuning
区别
现在基于自然语言和文档进行对话的背后都是使用的基于嵌入的向量搜索。OpenAI在这方面做的很好,它的Cookbook(github.com/openai/openai-cookbook)上有很多案例,最近他们对文档做了一些更新。GPT擅长回答问题,但是只能回答它以前被训练过的问题,如果是没有训练过的数据,比如一些私有数据或者最新的数据该怎么办呢?这种情况下通常有两种办法,一种是微调(fine-tu
程序员老狼
·
2024-01-19 14:03
人工智能
机器学习
还没搞懂嵌入(Embedding)、微调(Fine-
tuning
)和提示工程(Prompt Engineering)?...
theme:orange嵌入(Embedding)、微调(Fine-
tuning
)和提示工程(PromptEngineering)是AIGC模型的核心功能,合理运行这些功能,能实现一些复杂和意向不到的应用
青Cheng序员石头
·
2024-01-19 14:31
embedding
prompt
机器学习
人工智能
提示词工程: 大语言模型的Embedding(嵌入和Fine-
tuning
(微调)
本文是针对这篇文章(https://www.promptengineering.org/master-prompt-engineering-llm-embedding-and-fine-
tuning
/)
AI明说
·
2024-01-19 14:30
AIGC
语言模型
人工智能
深度学习
NLP预训练模型系列-GPT
Introduction3.RelatedWork4.Framework4.1无监督预训练4.2有监督微调4.3任务相关的输入转换5.Experiments5.1setup5.2Supervisedfine-
tuning
6
Maxi_0902
·
2024-01-19 06:05
NLP
自然语言处理
python
机器学习
大模型入门2: 指令微调
大模型评测指令微调数据部署Fine-
tuning
customizesapretrainedLLMforaspecificdomainbyupdatingmostorallofitsparameterswithadomain-specificdataset.Thisapproachisresource-intensivebutyieldshighaccuracyforspecializeduseca
YueTann
·
2024-01-19 05:07
数据库
目标检测--02(Two Stage目标检测算法1)
采用大样本下(ILSVRC)有监督预训练和小样本(PASCAL)微调(fine-
tuning
)的方法解决小样本难以训练甚至过拟合等问题。注
普通研究者
·
2024-01-19 03:51
计算机视觉面试题
深度学习
目标检测
算法
人工智能
Vision Transformer(VIT)模型介绍
计算机视觉文章目录计算机视觉VisionTransformer(VIT)PatchEmbeddingsHybridArchitectureFine-
tuning
andhigherresolutionPyTorch
工头阿乐
·
2024-01-18 18:25
计算机视觉
transformer
深度学习
人工智能
Bert详解
Bert框架基本架构Embeddingpre-trainingMLM(MaskLanguageModel)NSP(NextSentencePrediction)fine-
tuning
优缺点基本架构由Transformer
bulingg
·
2024-01-18 04:52
bert
人工智能
深度学习
ChatGLM-6B部署和微调实例
文章目录前言一、ChatGLM-6B安装1.1下载1.2环境安装二、ChatGLM-6B推理三、P-
tuning
微调3.1微调数据集3.2微调训练3.3微调评估3.4调用新的模型进行推理总结前言ChatGLM
drj御用programmer
·
2024-01-17 18:41
大模型安装
NLP
语言模型
nlp
技术动态 | 知识图谱遇上RAG行业问答:回顾知识检索增强范式、挑战及与知识图谱的结合...
1、RAGvsFine-
tuning
开放知识图谱
·
2024-01-17 11:46
知识图谱
人工智能
【提示学习论文七】Visual Prompt
Tuning
论文原理
文章目录VisualPrompt
Tuning
(VPT)文章介绍Abstract1Introduction2RelatedWork3Approach3.1准备工作3.2Visual-Prompt
Tuning
一个很菜的小猪
·
2024-01-17 06:28
提示学习
学习
prompt
【论文阅读笔记】Prompt
Tuning
for Parameter-efficient Medical Image Segmentation
FischerM,BartlerA,YangB.Prompt
tuning
forparameter-efficientmedicalimagesegmentation[J].MedicalImageAnalysis
cskywit
·
2024-01-17 01:50
医学图像分割
prompts
论文阅读
笔记
prompt
用Chromatix进行
tuning
流程
一、基本调试1、工程初始配置:这个工具就是一个图形化的参数编辑器,其实所有
tuning
中的效果参数直接改文件参数酒醒,工具的好处是:带有检查错误和模拟的功能以及一些校验工具和脚本。
eric_dma
·
2024-01-17 01:05
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他