自编码器微调

开卷有益〜

同样的场所，作了微调，心境就不一样的了。面对着一排排书架上的书，有些似曾相识，有些却又那么陌生。信手拿来一本，发现竟然还没拆封。oh!no.都怪我喜欢买书，遇上打折季
智慧芒果布丁·2023-11-24 05:07

解决Vision Transformer在任意尺寸图像上微调的问题：使用timm库

解决VisionTransformer在任意尺寸图像上微调的问题：使用timm库文章目录一、ViT的微调问题的本质二、PositionalEmbedding如何处理1，绝对位置编码2，相对位置编码3，对位置编码进行插值三
liyiersan123·2023-11-24 00:14

男性功能性训练NO.2

解剖话不多说先直接给出我的理解1.运动是神经、器官、肌肉、骨骼、韧带等协同作用的结果，应该由脑发出指令→神经传导冲动→作用在肌肉（执行），人体就会运动,同时运动的幅度通过神经反馈给脑,这样就完成了运动的细微调节
leeson许一·2023-11-23 21:42

PubLayNet：电子文档元素识别的有史以来最大数据集

文章目录摘要引言相关工作文档布局的自动标注布局类别标注算法PMCOAXML预处理和解析PMCOAPDF解析字符串预处理PDF-XML匹配算法生成实例分割质量控制数据划分结果基于深度学习的文档分布识别表格检测微调用于不同的领域讨论结论附录论文中的一些英文单词论文中的其他一些专有名词摘要重要性
北岛寒沫·2023-11-23 21:36

开源语言大模型演进史：向LLaMA 2看齐

第二部分《开源语言大模型演进史：高质量基础模型竞赛》研究了目前可用的最受欢迎的开源基础模型（即已进行预训练但尚未微调或对齐的语言模型）。
OneFlow深度学习框架·2023-11-23 20:45

《论文阅读》CAB：认知、情感和行为的共情对话生成 DASFAA 2023

《论文阅读》CAB：认知、情感和行为的共情对话生成前言摘要相关知识CVAE条件变分自编码器最大最小归一化模型架构1.获取Representation2.PriorNetworkandRecognitionNetwork
365JHWZGo·2023-11-23 20:51

三胎政策正式实施

我国是一个人口大国，按照国情政策一路发展的阶段来看，在不同的年代宏观调控利民政策，所取得的成就是全球所瞩目，每一次的微调效果都利国利民。
莫扎特的烦恼·2023-11-23 19:58

主流开源大语言模型的微调方法

文章目录模型ChatGLM2网址原生支持微调方式ChatGLM3网址原生支持微调方式Baichuan2网址原生支持微调方式Qwen网址原生支持微调方式框架FireflyEfficient-Tuning-LLMsSuperAdapters
羊城迷鹿·2023-11-23 19:11

【NLP】培训LLM的不同方式

在本文中，我想概述一些最重要的训练机制，包括预训练、微调、人类反馈强化学习(RLHF)和适配器。
Sonhhxg_柒·2023-11-23 10:49

孩子在早读问题上一些思考

解决的办法：从新设立规则，每天早上读两遍，明确培养的目标和方向，以培养习惯为主，然后微调整规则。通过这次事件给我
坚持梦想的人·2023-11-23 08:45

StarCoder LLM for code

我们针对35BPython令牌微调了StarCoderBase模型，产生了一个我们称之为StarCoder的
量化交易曾小健(金融号)·2023-11-23 05:13

LLM-2022：InstructGPT【GPT3-（问题和答案拼成一段对话，使用这些对话微调GPT3）-＞SFT（监督微调）-（SFT的答案排序后的数据集上再训练）-＞RM-＞RL（强化学习）】

一、前言GPT系列是OpenAI的一系列预训练文章，GPT的全称是GenerativePre-TrainedTransformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前已经公布论文的有文本预训练GPT-1，GPT-2，GPT-3，以及图像预训练iGPT。据传还未发布的GPT-4是一个多模态模型。最近非常火的ChatGPT和今年年初公
u013250861·2023-11-22 22:34

扩散模型实战（十一）：剖析Stable Diffusion Pipeline各个组件

扩散模型的应用扩散模型实战（四）：从零构建扩散模型扩散模型实战（五）：采样过程扩散模型实战（六）：DiffusersDDPM初探扩散模型实战（七）：Diffusers蝴蝶图像生成实战扩散模型实战（八）：微调扩散模型扩散模型实战
wshzd·2023-11-22 21:03

Nginx配置性能优化（最详细总结）

在本指南中，我将解释Nginx的那些设置可以微调，以优化处理大量客户端时的性能。需要注意一点，这不是一个
搬砖养女人·2023-11-22 21:47

Nginx配置性能优化的方法

在本指南中，我将解释Nginx的那些设置可以微调，以优化处理大量客户端时的性能。需要注意一点，这不是一个全面的微调指南。这是一个简单的预览——那些可以通过微调来提高性能设置的概述。你的情况可能不同。
程序员达芬奇·2023-11-22 21:40

ChatGLM2 大模型微调过程中遇到的一些坑及解决方法(更新中)

1.模型下载问题OSError:Wecouldn'tconnectto'https://huggingface.co'toloadthisfile,couldn'tfinditinthecachedfilesanditlookslikebert-base-uncasedisnotthepathtoadirectorycontainingafilenamedconfig.json.Checkouty
tortorish·2023-11-22 20:15

网潭聊志七三（2）:“樱花令”（当天群聊）

由于《活动简案》是边说边干，因此其中细节，一直处在动态，增补，微调，纠错，不断删除，再贴，被李志“夸奖”为“十二道金牌”，更好玩了。当天群聊摘要如下——杨然：贴出《邀请函》。水泊梁山：樱花开了。
48ff0d2cdc9a·2023-11-22 16:09

解析大型语言模型的训练、微调和推理的运行时性能

背景这篇论文是截至目前为数不多的介绍大模型训练配套环境比对的论文，对于想要入门大模型训练同学是个不错的入门资料。比较了不同尺寸模型（比较常用的7、13、70b），在不同型号gpu、训练框架、推理框架数据。结合自己实际工作需要和论文给出的运行时数据分析，总结了下面几条：1.二次预训练最低硬件配置，如果想要自己做简单二次预训练（7、13、70B参数）最小8卡80g显存A1002.对于小规模sft对考虑
远洋之帆·2023-11-22 12:57

Transformers库总体介绍

这些模型在大型数据集上进行了预训练，可以进行特定下游任务的微调。2.分词（To
taoli-qiao·2023-11-22 10:21

【diffuser系列】ControlNet

ControlNet:TL;DRControlTypeStableDiffusionControlNetPipeline1.CannyControlNet1.1模型与数据加载1.2模型推理1.3DreamBooth微调
Yuezero_·2023-11-22 06:10

ChatGLM-6B大模型微调实战总结

上篇我们已经具备了ChatGLM-6B初步的运行环境，这为实现完全属于自己的模型奠定了基础（快速部署ChatGLM-6B大模型实战总结），接下来将针对模型进行微调，以便让它真正成为一个定制化智能助手。
MavenTalk·2023-11-22 06:00

《多GPU大模型训练与微调手册》

全参数微调Lora微调PTuning微调多GPU微调预备知识1.参数数据类型torch.dtype1.1半精度half-precisiontorch.float16：fp16就是float16，1个sign
Yuezero_·2023-11-22 06:22

第九章 预训练模型与自己模型参数不匹配和模型微调的具体实现

导入预训练模型在通常情况下都能加快模型收敛，提升模型性能。但根据实际任务需求，自己搭建的模型往往和通用的Backbone并不能做到网络层的完全一致，无非就是少一些层和多一些层两种情况。1.自己模型层数较少net=...#net为自己的模型save_model=torch.load('path_of_pretrained_model')#获取预训练模型字典（键值对）model_dict=net.st
小酒馆燃着灯·2023-11-21 22:41

Stable Diffusion专场公开课

在自己电脑上快速搭建、快速出图如何基于SD快速做二次开发(以七月的AIGC模特生成系统为例)分享人简介July，七月在线创始人兼LLM项目团队负责人CSDN2000万PV的A博主杜老师，NLP高级工程师，微调过十余个大模型霍老师
lanyzh0909·2023-11-21 19:30

AIGC实战 - 使用变分自编码器生成面部图像

AIGC实战-使用变分自编码器生成面部图像0.前言1.数据集分析2.训练变分自编码器2.1变分自编码器架构2.2变分自编码器分析3.生成新的面部图像4.潜空间算术5.人脸变换小结系列链接0.前言在自编码器和变分自编码器上
盼小辉丶·2023-11-21 16:45

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。
hj_caas·2023-11-21 12:53

【转载】DL开源框架Caffe | 模型微调 （finetune）的场景、问题、技巧以及解决方案

https://blog.csdn.net/u010402786/article/details/70141261前言什么是模型的微调？
dopami·2023-11-21 11:22

【第五周】 易效能一阶283班践行作业

自己只不过进行了一些微调，比如说把这个软件放在手机界面的底部，取代原来C5的位置，把原来C5设立的项目导进1CS。然后第2步啊。所有的项目内容进行排序。在原来的项目清单的基础上再进行了分组。
王炜_cf15·2023-11-21 10:05

轻量封装WebGPU渲染系统示例＜35＞- HDR环境数据应用到PBR渲染材质

github.com/vilyLei/voxwebgpu/blob/feature/rendering/src/voxgpu/sample/BasePbrMaterialTest.ts当前示例运行效果:微调参数之后的效果
含影·2023-11-21 10:11

A Survey on Model Compression for Large Language Models

如果子模型和父模型的网络架构相同，通常是因为将父模型的权重直接复制到子模型中，然后在子模型中进行微调或进一步训练。这种情况下，子模型会继承父模型的参数和结构，以便更好地适应新的任务。
y94688·2023-11-21 10:39

微调

我怎么如此幸运-重生68-戴红霞（2020-11-04）我怎么如此幸运-微调1.我怎么如此幸运哇，这一集刚才在餐馆里，听只是感觉不错。此刻在房间静静的感受，心里有泪却流不出来。
戴红霞·2023-11-21 10:40

大模型应用开发

大模型概述大模型的能力涌现能力：随着训练数据规模增大能力迅速提升，超过随机水平上下文学习指令微调：泛化能力很强，微调后可以在未见过的任务上表现良好逐步推理：LLM有“思维链”推理机制，可以逐步推理解决复杂任务大基座模型借助于无标注数据训练
Jeffrey-zh·2023-11-21 09:38

【论文阅读笔记】Unsupervised Clustering of Microseismic Signals Using a Contrastive Learning Model

【论文阅读笔记】UnsupervisedClusteringofMicroseismicSignalsUsingaContrastiveLearningModel摘要tscc:预训练和微调预训练：数据增强
luzhoushili·2023-11-21 07:27

Datawhale组队学习NLP_Bert文本分类学习笔记

1.1TransformerDatasets1.1.1datasets.Metric2数据预处理2.1定义一个tokenizer2.2Datasets2.2.1检查数据格式（可选）2.2.2Datasets预处理3Trainer微调预训练模型
宝友你好·2023-11-21 01:02

机器学习笔记

self-attention）循环神经网络（RNN）长短期记忆递归神经网络（LSTM）Transformer自监督学习（Self-SupervisedLearning）BERT预训练（Pre-train）微调
czyxw·2023-11-21 01:57

Bert学习笔记(简单入门版)

目录一、基础架构二、输入部分三、预训练：MLM+NSP3.1MLM：掩码语言模型3.1.1mask模型缺点3.1.2mask的概率问题3.1.3mask代码实践3.2NSP四、如何微调Bert五、如何提升
十七季·2023-11-21 01:25

uni-app中自定义图表（canvas实现chart图表）开发篇（2）-多圆环进度条

咱们将数组里增加一项，圆环会增加一个，如下图：可以容纳几个圆环，大家可以根据需求进行微调。
觉醒法师·2023-11-20 23:12

340条样本就能让GPT-4崩溃，输出有害内容高达95%？OpenAI的安全防护措施再次失效

仅需340个示例微调GPT-4，即可绕过安全限制，让模型说出“枪支改装方法”、“生化武器制作过程”等有害内容？OpenAI的安全防护措施再次失效，攻击的成功率高达95%！
夕小瑶·2023-11-20 22:23

企业要做大模型落地？建议进来看看这个榜单

当然，尽管LeCun话虽如此，但是我们可以看到，自GPT系列模型问世以来，无论是简单粗暴扩展模型参数，还是精心调配，使用微调、RLHF实现对齐，总体而言，大模型还是在朝着减轻机器幻觉，增加可信度的大方
夕小瑶·2023-11-20 22:53

【大模型微调实战】使用Peft技术与自己的数据集微调大模型

个人博客:Sekyoro的博客小屋个人网站:Proanimer的个人网站这段时间非常火的topic,大模型参数多,占用体积大训练困难,而且一般需要微调技术用于特定任务AnimeBot.ipynb-Colaboratory
procoder338·2023-11-20 15:28

（动手学习深度学习）第13章 计算机视觉---微调

文章目录微调总结微调代码实现微调总结微调通过使用在大数据上的恶道的预训练好的模型来初始化模型权重来完成提升精度。
深度学习炼丹师-CXD·2023-11-20 14:02

LF炉工艺以及控制系统

LF有以下特点：①脱硫②温度调节③精确的成分微调④改善钢水纯净度⑤造渣它主要有下列作用：(1)LF炉与电炉相连，加快了电炉的生产周期并提高电炉钢质量。
杨铮...·2023-11-20 10:45

Open AI开发者大会：AI“科技春晚”

正如“Turbo”一词的中文含义“涡轮增压器”一样，本次发布会上，OpenAI的这款最新大模型在长文本、知识库、多模态、模型控制、模型微调、高速率六大方面的功能均进行了“涡轮增压”，而价格甚至比GPT-
海森大数据·2023-11-20 08:25

Attentron：few-shot text-to-Speech Utilizing Attemtio-based Variabl-length Embedding论文阅读

一个微调的编码器通过注意力机制来提取变长的风格信息，一个粗调的编码器用于提高语音合成的稳定性，避免了在合成未见过说话人的语音时产生胡言乱语。
JanettaC·2023-11-20 07:35

ERROR: Could not build wheels for flash-attn, which is required to install pyproject.toml-based proj

背景：微调Fastchat的vicuna1.5大模型时，安装一些依赖的库。
炭市街潜水豆浆·2023-11-20 06:49

赠书 | 一文了解预训练语言模型

通过大数据预训练加小数据微调，自然语言处理任务的解决，无须再依赖大量的人工调参。借助预训练语言模型，自然语言处理模型进入了可以大规模复制的工业化时代。那到底什么是预训练？为什么需要预训练呢？
AI科技大本营·2023-11-20 06:22

扩散模型实战（十）：Stable Diffusion文本条件生成图像大模型

扩散模型的应用扩散模型实战（四）：从零构建扩散模型扩散模型实战（五）：采样过程扩散模型实战（六）：DiffusersDDPM初探扩散模型实战（七）：Diffusers蝴蝶图像生成实战扩散模型实战（八）：微调扩散模型扩散模型实战
wshzd·2023-11-20 01:21

内置易失性存储器、SPI 接口 MCP48CVD02T-E/UN、MCP48CVD02-E/UN、MCP48CVD02T-E/MF、MCP48CVD02-E/MF双通道、8位数模转换器（DAC）

典型应用•设定点或偏移微调•传感器校准•低功耗便携式仪器仪表•个人电脑外围设备•数据采集系统概览MCP48CVD02是一款双通道、8位缓冲电压输出数模转换器（DAC），内置易失性存储器和SPI兼容型串行接口
Summer-明佳达电子·2023-11-20 01:18

双通道、8位、MCP47CMD02T-E/MG、MCP47CMD02T-E/MF、MCP47CMD02T-E/UN数模转换器（DAC）适合消费和工业应用

典型应用：•设定点或偏移微调•传感器校准•低功耗便携式仪器仪表•个人电脑外围设备•数据采集系统特性8位分辨率轨到轨输出快速建立时间：4µs（典型值）I2C接口非易失性存储器（MTP）：32个位置上电/掉电复位
Summer-明佳达电子·2023-11-20 01:18

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。
hj_caas·2023-11-20 01:22
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他