E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
TUNING
AI推介-大语言模型LLMs论文速览(arXiv方向):2024.02.25-2024.03.01
ArithmeticControlofLLMsforDiverseUserPreferences:DirectionalPreferenceAlignmentwithMulti-ObjectiveRewards2.KeepingLLMsAlignedAfterFine-
tuning
小小帅AIGC
·
2024-03-06 03:25
LLMs论文时报
人工智能
语言模型
自然语言处理
LLM
大语言模型
深度学习
论文推送
大模型训练——PEFT与LORA介绍
大模型训练中的PEFT(Parameter-EfficientFine-
Tuning
)与LoRA(Low-RankAdaptation)是两种重要的技术,它们在大型预训练模型的应用中发挥着重要作用。
MarkHD
·
2024-03-03 10:30
人工智能
深度学习
机器学习
学习笔记:使用 Amazon Bedrock 进行图像生成
亚马逊云科技此次为其大模型托管服务引入了Fine-
tuning
、Agents、KnowledgeBases和Guardrails等一系列创新功能。
·
2024-02-19 16:07
预训练和微调在迁移学习中的作用
在机器学习和深度学习中,"pre-training"(预训练)和"fine-
tuning
"(微调)是两个常见且重要的概念,它们通常在迁移学习场景中使用,以提高模型在特定任务上的性能。
一条小小yu
·
2024-02-19 12:42
迁移学习
人工智能
机器学习
大模型微调大杂烩知识总结
1.前缀微调(Prefix-
Tuning
)前缀微调是一种针对预训练模型的微调方法,通过在模型输入前添加特定任务相关的连续前缀表示,从而引导模型生成适应特定任务的输出。
lichunericli
·
2024-02-15 09:56
LLM
人工智能
语言模型
Prompt
Tuning
:深度解读一种新的微调范式
相比传统fine-
tuning
有什么优势?自20年底开始,prompt的发展历程,哪些经典的代表方法?面向不同种类NLP任务,prompt如何选择和设计?
lichunericli
·
2024-02-15 09:55
LLM
人工智能
语言模型
prompt
ACK Timeout 相关论文
AReal-TimeUpdatingAlgorithmofRTS-CTSThresholdtoEnhanceEDCAMACPerformanceinIEEE802.11eWirelessLANs》Timeout论文中《RTSThresholdSelf-
Tuning
AlgorithmBasedonDelayAnalysison802.11DCF
小超超爱超超
·
2024-02-14 18:41
大模型推理优化实践:KV cache 复用与投机采样
RTP-LLM还支持包括多模态、LoRA、P-
Tuning
、以及WeightOnly动态量化等
阿里技术
·
2024-02-12 15:01
RTP-LLM
大模型
KV
cache
推理优化
投机采样
大语言模型ChatGLM + P-
Tuning
微调实践
大语言模型ChatGLM+P-
Tuning
微调实践文章目录大语言模型ChatGLM+P-
Tuning
微调实践LLM微调基础本次实践环境说明ChatGLM部署以及激活conda环境安装依赖禁用W&B训练数据集
North_D
·
2024-02-12 13:59
AI
人工智能
人工智能
自然语言处理
chatgpt
nlp
transformer
深度学习
机器学习
小周带你正确理解Prompt-engineering,RAG,fine-
tuning
工程化的地位和意义
有人会说:"小周,几天不见这么拉了,现在别说算法了,连code都不讲了,整上方法论了。"我并没有拉!而且方法论很重要,尤其工程化的时候,你总得知道每种技术到底适合干啥,其实主要是现实中,我在项目里发现大家对这块其实并不是分的很清楚。所以我来给大家捋一捋,因为这毕竟直接取决于你设计的解决方案是否能真正解决问题如上图所示,OpenAI把对于优化LLM返回结果分为两个方向,一个方向是横坐标系的对LLM模
周博洋K
·
2024-02-12 13:54
人工智能
小周带你正确理解Prompt-engineering,RAG,fine-
tuning
工程化的地位和意义
有人会说:"小周,几天不见这么拉了,现在别说算法了,连code都不讲了,整上方法论了。"我并没有拉!而且方法论很重要,尤其工程化的时候,你总得知道每种技术到底适合干啥,其实主要是现实中,我在项目里发现大家对这块其实并不是分的很清楚。所以我来给大家捋一捋,因为这毕竟直接取决于你设计的解决方案是否能真正解决问题如上图所示,OpenAI把对于优化LLM返回结果分为两个方向,一个方向是横坐标系的对LLM模
周博洋K
·
2024-02-12 13:22
prompt
人工智能
VLM 系列——LLaVA-MoLE——论文解读
Llava-MoLE是Llava1.5的改进全称《LLaVA-MoLE:SparseMixtureofLoRAExpertsforMitigatingDataConflictsinInstructionFine
tuning
MLLMs
TigerZ*
·
2024-02-12 06:37
AIGC算法
深度学习
人工智能
AIGC
transformer
计算机视觉
全世界 LoRA 训练脚本,联合起来!
来自社区的SD-XLDreamboothLoRA微调最佳实践指南太长不看版我们把Replicate在SDXLCog训练器中使用的枢轴微调(Pivotal
Tuning
)技术与Kohya训练器中使用的Prodigy
·
2024-02-11 18:48
人工智能
EM : Process XXX appears to be hung in Auto SQL
Tuning
task
文章目录问题现象1.EM报错2.检查相关告警日志初步判断进一步确认查看系统自动维护任务查看时间限制解决办法赘述部分问题现象1.EM报错通过em13c监控,系统发出以下报错:2.检查相关告警日志通过em的告警“题目”,已经给出了去查看那个告警日志了(注意最后的目录不要进alert,而且trace目录,查看告警日志),再根据时间进行定位,还是很准的。SunJun0706:00:272020DBMS_S
董董-酱
·
2024-02-11 10:34
Oracle
oracle
这里的*号实际表示就是RAC中所有实例都使用
您的位置:ITPUB个人空间»cc59的个人空间»日志发布新日志我的日志我的足迹我的收藏unix/linuxHA随笔backup&restoreperformance
tuning
TroubleshootConcepts
weixin_30732487
·
2024-02-11 10:34
数据库
php
操作系统
Tuning
using the Alert log File
TheAlertlogfilecontainsthefollowinginformationwhichcanbeusedin
tuning
thedatabase:Checkpointstartandendtimes.IncompletecheckpointsTimetoperformarchivingCrashrecoverystartandcompletetimes.egg
weixin_30875157
·
2024-02-11 10:34
数据库
appears to be hung in Auto SQL
Tuning
task
appearstobehunginAutoSQL
Tuning
taskOracle自动定时优化任务执行失败分析错误现象:SatFeb1003:10:572024Process0x0x00007FFB81BE44A8appearstobehunginAutoSQL
Tuning
taskCurrenttime
夹心饼2024
·
2024-02-11 10:03
数据库运维案例分享
sql
数据库
Process 0x%p appears to be hung in Auto SQL
Tuning
task“
数据库版本:11.2.0.4操作系统:Windowsserver2012问题现象:企业微信收到如下告警:EMCC数据库告警信息,请注意!!!名称:xxxxxx告警主机:1xxxxx主机类型:DatabaseInstance告警信息:Operationalerror(Process0x0x000...)detectedinD:APPADMINalertlog.xmlattime/linenumber
夹心饼2024
·
2024-02-11 10:03
数据库运维案例分享
oracle
数据库
大模型基础理论学习笔记——大模型适配
本文目录7.大模型适配7.1大模型适配基础要素7.2当前主流大模型适配方法7.2.1探针方法(Probing)(1)探针方法介绍(2)基于probing的大模型适配7.2.2微调方法(Fine-
tuning
maximejia
·
2024-02-10 09:51
人工智能
学习
笔记
人工智能
自然语言处理
语言模型
[算法前沿]--059-大语言模型Fine-
tuning
踩坑经验之谈
然后再对模型进行fine
tuning
来更好满足自己的下游
三更科技公社
·
2024-02-09 17:20
AI前沿与LLM
chatGPT
人工智能
自然语言学习nlp 六
p=118Delta
Tuning
,尤其是在自然语言处理(NLP)和机器学习领域中,通常指的是对预训练模型进行微调的一种策略。
wangqiaowq
·
2024-02-09 12:46
学习
(2024,低比特模型量化,模型微调,QuEST,TAQuant)QuEST:通过高效选择性微调进行低比特扩散模型量化
QuEST:Low-bitDiffusionModelQuantizationviaEfficientSelectiveFine
tuning
公和众和号:EDPJ(进Q交流群:922230617或加VX:
EDPJ
·
2024-02-08 20:49
论文笔记
人工智能
计算机视觉
Scaling Laws for Forgetting When Fine-
Tuning
Large Language Models
本文是LLM系列文章,针对《ScalingLawsforForgettingWhenFine-
Tuning
LargeLanguageModels》的翻译。
UnknownBody
·
2024-02-07 16:23
LLM
语言模型
人工智能
算法
《AI 大模型全栈工程师》学习笔记1 - 大模型应用的技术架构
大模型应用的技术架构2.1Prompt-Response架构2.2Agent+FunctionCalling架构2.3RAG(Retrieval-AugmentedGeneration)架构2.4Fine-
tuning
coffee_baba
·
2024-02-07 09:37
AI&大模型
ai
【自然语言处理】微调 Fine-
Tuning
各种经典方法的概念汇总
【自然语言处理】微调Fine-
Tuning
各种经典方法的概念汇总前言请看此微调Fine-
Tuning
SFT监督微调(SupervisedFine-
Tuning
)概念:监督学习,无监督学习,自监督学习,半监督学习
溢流眼泪
·
2024-02-07 07:11
【科研】
自然语言处理
人工智能
全世界 LoRA 训练脚本,联合起来!
我们把Replicate在SDXLCog训练器中使用的枢轴微调(Pivotal
Tuning
)技术与Kohya训练器中使用的Prodigy优化器相结合,再加上一堆其他优化,一起对SDXL进行DreamboothLoRA
工业甲酰苯胺
·
2024-02-07 06:28
人工智能
开发语言
java
python
相机图像质量概述
前言:对很多刚入行做camera
tuning
的小伙伴来说,可能对图像质量还不是很了解,包括我自己刚开始接触这一行的时候也是一样,不清楚ISP是什么,为什么要调它,影响画质的因素又有哪些,哪些是ISP能调的
木 东
·
2024-02-06 10:59
ISP调试相关
计算机视觉
人工智能
【人工智能】Fine-
tuning
微调:解析深度学习中的利器(7)
在深度学习领域,Fine-
tuning
微调是一项重要而强大的技术,它为我们提供了在特定任务上充分利用预训练模型的途径。
魔道不误砍柴功
·
2024-02-06 10:24
AI
大模型
人工智能
深度学习
Linux 性能调优之文件系统调优(
Tuning
file system utilization)
写在前面考试整理相关笔记博文内容涉及,文件系统常见调优手段不同文件系统格式适用场景分析,格式化选项,挂载日志策略调整日志和数据分离配置fstrim空间回收理解不足小伙伴帮忙指正不必太纠结于当下,也不必太忧虑未来,当你经历过一些事情的时候,眼前的风景已经和从前不一样了。——村上春树RHEL8默认文件系统为XFS,Ext4依然是可以使用的文件系统方案。XFS支持1PB的文件系统,单个文件大小限制为8E
山河已无恙
·
2024-02-06 08:47
Linux
性能调优
linux
运维
服务器
【机器学习与自然语言处理】预训练 Pre-Training 各种经典方法的概念汇总
【NLP概念合集:一】预训练Pre-Training,微调Fine-
Tuning
及其方法的概念区别前言请看此正文预训练Pre-Training无监督学习unsupervisedlearning概念:标签
溢流眼泪
·
2024-02-06 07:18
【科研】
机器学习
自然语言处理
人工智能
GPT-1, GPT-2, GPT-3, GPT-3.5, GPT-4论文内容解读
1.1whatischatGPT1.2HowdoesChatGPTwork1.3TheapplicationsofChatGPT1.3ThelimitationsofChatGPT2算法原理2.1GPT-12.1.1Unsupervisedpre-training2.1.2Supervisedfine-
tuning
2.1.3
BGoodHabit
·
2024-02-06 06:36
ChatGPT
chatgpt
gpt
大模型
LLM
一文辨析清楚LORA、Prompt
Tuning
、P-
Tuning
、Adapter 、Prefix等大模型微调方法
本文探讨了大模型微调的核心概念和方法,详细介绍了如LoRA、Adapter
Tuning
、Prefix
Tuning
等多种微调策略。
深度学习算法与自然语言处理
·
2024-02-05 05:45
NLP与大模型
大模型实战
prompt
人工智能
深度学习
多模态
大模型
自然语言处理
大语言模型
预训练
在CV和NLP领域,pretraining+fine
tuning
是常用手段。而在推荐实际应用中,预训练也有一定的作用。
shudaxu
·
2024-02-05 02:28
【LLM】提示工程技术提炼精华分享
提示工程相比较于微调(Fine-
tuning
)的成本和复杂度更低,但是不能对模型本身的能力进行优化,只能基于模型已有能力进行应用。二、基
液态不合群
·
2024-02-04 21:48
人工智能
LLM
信息可视化
From LLM to Conversational Agent: A Memory Enhanced Architecture with Fine-
Tuning
of LLM
本文是LLM系列文章,针对《FromLLMtoConversationalAgent:AMemoryEnhancedArchitecturewithFine从LLM到会话代理:一种对大型语言模型进行微调的内存增强体系结构摘要1引言2代理框架3代理调整4实验5相关工作6结论与未来工作摘要本文介绍了RAISE(ReasoningandActingthroughScratchpadandExamples
UnknownBody
·
2024-02-04 16:16
LLM
人工智能
语言模型
ASTRAIOS: Parameter-Efficient Instruction
Tuning
Code Large Language Models
本文是LLM系列文章,针对《ASTRAIOS:Parameter-EfficientInstruction
Tuning
CodeLargeLanguageModels》的翻译。
UnknownBody
·
2024-02-04 16:46
LLM
语言模型
人工智能
自然语言处理
Encoder-based Domain
Tuning
for Fast Personalization of Text-to-Image Models——【论文笔记】
本文是发表于ACMTransactionsonGraphics期刊上的一篇论文论文地址:[2302.12228]基于编码器的域优化,用于文本到图像模型的快速个性化(arxiv.org)官方代码:mkshing/e4t-diffusion:实现基于编码器的域调优,以实现文本到图像模型的快速个性化(github.com)一、Introduction近年来,个性化大规模文本到图像模型的能力已经彻底改变了
我是浮夸
·
2024-02-04 14:51
论文笔记
论文阅读
深度学习
人工智能
stable
diffusion
图像处理
SVDiff: Compact Parameter Space for Diffusion Fine-
Tuning
——【论文笔记】
thecvf.com)官方代码:mkshing/svdiff-pytorch:Implementationof"SVDiff:CompactParameterSpaceforDiffusionFine-
Tuning
我是浮夸
·
2024-02-04 14:19
论文笔记
论文阅读
深度学习
图像处理
stable
diffusion
吴恩达:改善深层神经网络:超参数调试、正则化以及优化(Improving Deep Neural Networks:Hyperparameter
tuning
, Regularizatio)
@[toc]1.1训练、开发、测试集trainset训练集Devset验证集testset测试集小规模数据:训练集:其他=7:3大数据时代(超百万数据):训练集占80%或者90%以上验证集和测试集来自同一分布如果只有训练集和验证集,那么验证集Devset就是测试集testset1.2偏差、方差[图片上传失败...(image-438142-1626709583495)]trainseterror1
Cache_wood
·
2024-02-04 10:48
Prompt
Tuning
和 Delta
Tuning
针对预训练语言模型进行微调
Prompt
Tuning
和Delta
Tuning
是两种针对预训练语言模型进行微调的方法,它们旨在提高微调的效率和减少所需的训练数据量。下面分别介绍这两种方法以及它们之间的区别。
人生万事须自为,跬步江山即寥廓。
·
2024-02-04 06:30
机器学习人工智能
人工智能
机器学习
深度学习
【模型微调】| 各类微调模型总结 P-
Tuning
,Prefix,P-
tuning
v2,LoRA
文章目录1微调背景1.1Fullfine-
tuning
全参数微调(FFT)1.2parameter-Efficient-fine-
tuning
部分参数微调(PEFT)2提示词调整训练法2.1P-
Tuning
2.2Prefix2.3P-
Tuning
v23
Qodicat
·
2024-02-03 15:02
计算机视觉CV
人工智能
深度学习
机器学习
PEFT微调方式总结
PEFT微调方式总结PEFT微调方式总结PEFT介绍安装peft支持的微调方法和任务SEQ_CLSSEQ_2_SEQ_LMCAUSAL_LMTOKEN_CLS模型加载微调加载PROMPT_
TUNING
简介源码
江小皮不皮
·
2024-02-03 15:48
人工智能
大模型
深度学习
peft
lora
p-tuning
YOLO-World: Real-Time Open-Vocabulary Object Detection
Experiments2.1ImplementationDetails2.2Pre-training2.3AblationExperiments2.3.1预训练数据2.3.2对RepVL-PAN的消融研究2.3.3文本编码器2.4Fine-
tuning
YOLO-World2.5Open-VocabularyInstanceSegmentation2.6Vis
猛码Memmat
·
2024-02-03 09:41
vision
/
segmentation
YOLO
目标检测
人工智能
树莓派相机
tuning
方法文档机翻
相机调整工具(CTT)是一个Python程序,旨在从一组相对较小的校准图像中生成一个完全工作的相机调整JSON文件。一旦工具运行完毕,为了获得所需的图像质量,应该不需要或只需要对JSON文件进行最小的进一步调整。此外,调谐算法被设计为使用最少量的昂贵或专业设备。创建完成的相机调谐所需的过程如下。1.首先,必须编写一个功能强大的V4L2相机驱动程序(见第3章)。为了编写相机驱动程序,可以复制未校准的
宇宙研究小组
·
2024-02-03 02:04
数码相机
物联网
(新手亲测有效)bug解决:在用显存24G的3090采用LoRA微调ChatGLM-6B(FP16)时报错torch.OutOfMemoryError:CUDA out of Memory.
但是,在运行Chatglm_lora_
tuning
.py时出现的
韬小志
·
2024-02-02 20:34
bug
人工智能
语言模型
2024-01-06-AI 大模型全栈工程师 - 机器学习基础
摘要2024-01-06阴杭州晴本节简介:a.数学模型&算法名词相关概念;b.学会数学建模相关知识;c.学会自我思考,提升认知,不要只会模仿;课程内容1.Fine-
Tuning
有什么作用?
流雨声
·
2024-02-02 10:42
人工智能
机器学习
2024-01-06-AI 大模型全栈工程师 - 机器学习基础
摘要2024-01-06阴杭州晴本节简介:a.数学模型&算法名词相关概念;b.学会数学建模相关知识;c.学会自我思考,提升认知,不要只会模仿;课程内容1.Fine-
Tuning
有什么作用?
流雨声
·
2024-02-02 07:06
人工智能
机器学习
第2章 大模型的基础知识2.2 大模型的关键技术2.2.2 预训练与微调
v=bZQun8Y4L2A&t=339s1.背景介绍在本章节中,我们将深入探讨大模型中的关键技术之一:预训练与微调(Pre-trainingandFine-
tuning
)。
OpenChat
·
2024-02-02 05:09
AI大模型应用开发实战案例详解
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
Agent
RPA
ChatGLM-6B在法律数据集上微调
2)转为json格式(和ChatGLM-6B中p
tuning
提供的AdvertiseGe
Luzichang
·
2024-02-01 20:50
人工智能
自然语言处理
ChatGLM
my.ini windows配置
#Otherdefault
tuning
values#MySQLServerInstanceConfigurationFile#--------------------------------------
我是全栈架构师
·
2024-02-01 15:26
windows
adb
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他