自编码器微调

Datawhale组队学习NLP_Bert文本分类学习笔记

1.1TransformerDatasets1.1.1datasets.Metric2数据预处理2.1定义一个tokenizer2.2Datasets2.2.1检查数据格式（可选）2.2.2Datasets预处理3Trainer微调预训练模型
宝友你好·2023-11-21 01:02

机器学习笔记

self-attention）循环神经网络（RNN）长短期记忆递归神经网络（LSTM）Transformer自监督学习（Self-SupervisedLearning）BERT预训练（Pre-train）微调
czyxw·2023-11-21 01:57

Bert学习笔记(简单入门版)

目录一、基础架构二、输入部分三、预训练：MLM+NSP3.1MLM：掩码语言模型3.1.1mask模型缺点3.1.2mask的概率问题3.1.3mask代码实践3.2NSP四、如何微调Bert五、如何提升
十七季·2023-11-21 01:25

uni-app中自定义图表（canvas实现chart图表）开发篇（2）-多圆环进度条

咱们将数组里增加一项，圆环会增加一个，如下图：可以容纳几个圆环，大家可以根据需求进行微调。
觉醒法师·2023-11-20 23:12

340条样本就能让GPT-4崩溃，输出有害内容高达95%？OpenAI的安全防护措施再次失效

仅需340个示例微调GPT-4，即可绕过安全限制，让模型说出“枪支改装方法”、“生化武器制作过程”等有害内容？OpenAI的安全防护措施再次失效，攻击的成功率高达95%！
夕小瑶·2023-11-20 22:23

企业要做大模型落地？建议进来看看这个榜单

当然，尽管LeCun话虽如此，但是我们可以看到，自GPT系列模型问世以来，无论是简单粗暴扩展模型参数，还是精心调配，使用微调、RLHF实现对齐，总体而言，大模型还是在朝着减轻机器幻觉，增加可信度的大方
夕小瑶·2023-11-20 22:53

【大模型微调实战】使用Peft技术与自己的数据集微调大模型

个人博客:Sekyoro的博客小屋个人网站:Proanimer的个人网站这段时间非常火的topic,大模型参数多,占用体积大训练困难,而且一般需要微调技术用于特定任务AnimeBot.ipynb-Colaboratory
procoder338·2023-11-20 15:28

（动手学习深度学习）第13章 计算机视觉---微调

文章目录微调总结微调代码实现微调总结微调通过使用在大数据上的恶道的预训练好的模型来初始化模型权重来完成提升精度。
深度学习炼丹师-CXD·2023-11-20 14:02

LF炉工艺以及控制系统

LF有以下特点：①脱硫②温度调节③精确的成分微调④改善钢水纯净度⑤造渣它主要有下列作用：(1)LF炉与电炉相连，加快了电炉的生产周期并提高电炉钢质量。
杨铮...·2023-11-20 10:45

Open AI开发者大会：AI“科技春晚”

正如“Turbo”一词的中文含义“涡轮增压器”一样，本次发布会上，OpenAI的这款最新大模型在长文本、知识库、多模态、模型控制、模型微调、高速率六大方面的功能均进行了“涡轮增压”，而价格甚至比GPT-
海森大数据·2023-11-20 08:25

Attentron：few-shot text-to-Speech Utilizing Attemtio-based Variabl-length Embedding论文阅读

一个微调的编码器通过注意力机制来提取变长的风格信息，一个粗调的编码器用于提高语音合成的稳定性，避免了在合成未见过说话人的语音时产生胡言乱语。
JanettaC·2023-11-20 07:35

ERROR: Could not build wheels for flash-attn, which is required to install pyproject.toml-based proj

背景：微调Fastchat的vicuna1.5大模型时，安装一些依赖的库。
炭市街潜水豆浆·2023-11-20 06:49

赠书 | 一文了解预训练语言模型

通过大数据预训练加小数据微调，自然语言处理任务的解决，无须再依赖大量的人工调参。借助预训练语言模型，自然语言处理模型进入了可以大规模复制的工业化时代。那到底什么是预训练？为什么需要预训练呢？
AI科技大本营·2023-11-20 06:22

扩散模型实战（十）：Stable Diffusion文本条件生成图像大模型

扩散模型的应用扩散模型实战（四）：从零构建扩散模型扩散模型实战（五）：采样过程扩散模型实战（六）：DiffusersDDPM初探扩散模型实战（七）：Diffusers蝴蝶图像生成实战扩散模型实战（八）：微调扩散模型扩散模型实战
wshzd·2023-11-20 01:21

内置易失性存储器、SPI 接口 MCP48CVD02T-E/UN、MCP48CVD02-E/UN、MCP48CVD02T-E/MF、MCP48CVD02-E/MF双通道、8位数模转换器（DAC）

典型应用•设定点或偏移微调•传感器校准•低功耗便携式仪器仪表•个人电脑外围设备•数据采集系统概览MCP48CVD02是一款双通道、8位缓冲电压输出数模转换器（DAC），内置易失性存储器和SPI兼容型串行接口
Summer-明佳达电子·2023-11-20 01:18

双通道、8位、MCP47CMD02T-E/MG、MCP47CMD02T-E/MF、MCP47CMD02T-E/UN数模转换器（DAC）适合消费和工业应用

典型应用：•设定点或偏移微调•传感器校准•低功耗便携式仪器仪表•个人电脑外围设备•数据采集系统特性8位分辨率轨到轨输出快速建立时间：4µs（典型值）I2C接口非易失性存储器（MTP）：32个位置上电/掉电复位
Summer-明佳达电子·2023-11-20 01:18

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。
hj_caas·2023-11-20 01:22

Transformer模型原理

随后推出了几个有影响力的模型，包括：2018年6月：GPT，第一个预训练的Transformer模型，用于各种NLP任务的微调并获得了SOTA的结果；2018年10月：BERT，另一个大型预训练模型，旨在生成更好的句子摘要
zzZ_CMing·2023-11-19 23:47

Protein Structure Representation Learning by Geometric Pretraining-通过几何预训练进行蛋白质结构表示学习

现有方法通常在大量未标记的氨基酸序列上预训练蛋白质语言模型，然后在下游任务中使用一些标记数据对模型进行微调。尽管基于序列的方法很有效，尚未探索对少量
NoteLoopy·2023-11-19 23:30

floorplan学习笔记

首先应该根据设计的数据流对memory位置进行粗调，然后应该根据routing的估算和drc的要求来进行微调。
Chance的电话亭·2023-11-19 20:28

你还在抱怨自己的命运吗？

大部分人认为命运天注定，但是在我看来，命这个东西取决于两个因素，环境因素和我们自己对于未来的走向划定的方向，人生轨迹走不出这两条线，个人的努力、运气等不过我们在这两条线之间做微调而已。
Strivers听久·2023-11-19 17:08

Robot Framework（十三） 执行测试用例——创建输出

本节讨论创建的输出，如何配置它们的创建位置以及如何微调其内容。3.5.1不同的输出文件本节介绍可以创建的不同输出文件以及如何配置它们的创建位置。
weixin_33670713·2023-11-19 16:26

微调让生活更加顺遂、惬意

微调让生活更加顺遂、惬意走过六十春秋，阅尽世间浮云，耳顺便随势而来，不会再有贪图浮华，不着边际的幻想，更不会有虚无缥缈的蠢蠢欲动，心底自是随遇而安的坦然；青年时过度虚妄，落下的的身体沉珂，成了一生挥之不去的梦魇
崇拜范蠡·2023-11-19 16:35

分类预测 | Matlab实现基于SDAE堆叠去噪自编码器的数据分类预测

分类预测|Matlab实现基于SDAE堆叠去噪自编码器的数据分类预测目录分类预测|Matlab实现基于SDAE堆叠去噪自编码器的数据分类预测分类效果基本描述程序设计参考资料分类效果基本描述1.Matlab
机器学习之心·2023-11-19 15:17

PyTorch微调终极指南1：预训练模型调整

如今，在训练深度学习模型时，通过根据自己的数据微调预训练模型来进行迁移学习（transferlearning）已成为首选方法。
新缸中之脑·2023-11-19 12:54

PyTorch微调终极指南2：提升模型的准确性

作为一名机器学习从业者，你可能经常会发现自己处于这样一种情况：你正在针对特定任务微调预先训练的模型，但已经达到了无法进一步提高模型准确性的地步。
新缸中之脑·2023-11-19 12:54

PyTorch微调权威指南3：使用数据增强

如果你曾经参与过PyTorch模型的微调，可能会遇到PyTorch的内置变换函数，这使得数据增强变得轻而易举。即使你之前没有使用过这些功能，也不必担心。
新缸中之脑·2023-11-19 12:54

晨间反思日记（补昨天的）

为了避免这件事发生第二次，反思的时间我稍微调整下，中午反思一半，下午能补充则补充，最终晚上做个总结即可。
早起的雨小桶·2023-11-19 11:12

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(一)

P-Tuning微调训练概述1、预训练模型或者是torch模型2、训练器的超参数3、数据预处理工具4、加载数据5、分词处理6、数据预处理，如填充，前后缀7、训练参数配置8、执行训练软件依赖数据处理P-Tuningv2
Alex_StarSky·2023-11-19 08:37

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(二)

文章目录GPT实战系列-1.训练参数配置传递2.训练前准备3.训练参数配置4.训练对象，seq2seq训练5.执行训练6.训练模型评估依赖数据集的预处理P-Tuningv2将ChatGLM2-6B模型需要微调的参数量
Alex_StarSky·2023-11-19 08:04

一文说清楚Openai的这波更新内容，大地震 一大波套壳公司倒闭

让我们接着往下讲API升级且降价GPT-4API升级为GPT-4Turbo上下文长度从8k到128k多模态API开放GPT4微调（定向选择公司）允许对16K的GPT3.5进行微调知识库更新知识库更新至2023
AI 研习所·2023-11-19 08:07

PP-OCR笔记

目录检测det数据准备数据格式训练模型微调数据选择模型选择前沿算法与模型训练超参选择预测超参选择启动训练断点训练更换Backbone训练添加新算法混合精度训练分布式训练知识蒸馏训练其他训练环境评估、预测导出
贺一诺·2023-11-19 08:36

033、微调

之——高级炼丹术目录之——高级炼丹术杂谈正文1.标注数据集是很贵的2.微调的思想3.尝试小结杂谈微调（Fine-tuning）是深度学习中的一种常见策略，它通常用于预训练模型在特定任务上的性能提升。
Here we are——wxl·2023-11-19 00:33

浅谈BERT

可以通过给机器大量的文字，让机器读懂，这个过程叫预训练(pre-train)，然后再根据特定的任务给机器特定的有限的有关数据对pre-train的model进行微调(fine-tune)。
进步中的coder·2023-11-18 18:57

分类预测 | Matlab实现基于PSO-SDAE粒子群优化算法优化堆叠去噪自编码器的数据分类预测

分类预测|Matlab实现基于PSO-SDAE粒子群优化算法优化堆叠去噪自编码器的数据分类预测目录分类预测|Matlab实现基于PSO-SDAE粒子群优化算法优化堆叠去噪自编码器的数据分类预测分类效果基本描述程序设计参考资料分类效果基本描述
机器学习之心·2023-11-18 17:45

进一步观察扩散模型中的参数有效调整

摘要：像Stablediffusion[31]这样的大规模扩散模型非常强大，可以找到各种真实世界的应用程序，而通过微调来定制这样的模型会降低内存和时间的效率。
nocol.·2023-11-17 12:49

2023.8-(ICCV)Forecast-MAE- Self-supervised Pre-training for Motion Forecasting with Masked Autoencod

这篇论文的标题为“Forecast-MAE：用于运动预测的自监督预训练蒙版自编码器”，在自动驾驶系统的运动预测领域提出了一种新的方法。
技术宅学长·2023-11-17 08:52

Accelerate 0.24.0文档 三：超大模型推理（内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理）

Shardedcheckpoints）2.4示例：使用Accelerate推理GPT2-1.5B2.5device_map三、bitsandbytes量化3.1环境依赖3.2量化示例3.3保存和加载8位模型3.4微调量化模型四
神洛华·2023-11-17 06:25

【论文】P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

模型参数较少时，远不如微调任务间缺乏通用性。
weixin_50862344·2023-11-17 05:01

一种硬盘故障预测的非监督对抗学习方法

关键词领域：异常检测，深度学习方法：非监督对抗学习场景：硬盘故障检测网络结构：基于LSTM自编码器与生成式对抗网络相结合数据集：BackBlaze目录关键词一、主要方法二、
疯狂java杰尼龟·2023-11-17 03:26

Python 标准库heapq，堆数据结构操作详解

注：本文章由ChatGPTgpt-3.5-turbo生成，小编进行略微调整提出的问题：heapq详细讲解背景最近小编在读《PythonCookbook》书籍时，遇到一个新的标准库heapq，该库主要涉及堆数据结构
数据人阿多·2023-11-17 02:09

Zero-Shot Text-to-Image Generation阅读笔记

本文的解决办法：训练了一个离散变分自编码器(dVAE)，将每个256×256RGB图像压缩成一个32×32
小杨小杨1·2023-11-17 00:42

LLm微调使用的数据集

https://baijiahao.baidu.com/s?id=1769124161629981325&wfr=spider&for=pcRefGPT：基于RefGPT生成大量真实和定制的对话数据集地址：https://github.com/ziliwangnlp/RefGPT数据集说明：包括RefGPT-Fact和RefGPT-Code两部分，其中RefGPT-Fact给出了5万中文的关于事实
东方佑·2023-11-17 00:36

使用 Hugging Face Transformer 微调 BERT

微调BERT有助于将其语言理解能力扩展到更新的文本领域。BERT的与众不同之处在于它能够掌握句子的上下文关系，理解每个单词相对于其邻居的含义。
TD程序员·2023-11-16 21:18

【机器学习9】前馈神经网络

深度前馈网络是一类网络模型的统称，主要包括多层感知机、自编码器、限制玻尔兹曼机，以及卷积神经网络等。
猫头不能躺·2023-11-16 18:27

LLM（四）| Chinese-LLaMA-Alpaca：包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型

论文题目：《EFFICIENTANDEFFECTIVETEXTENCODINGFORCHINESELLAMAANDALPACA》论文地址：https://arxiv.org/pdf/2304.08177v1.pdfGithub地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca一、项目介绍通过在原有的LLaMA词汇中增加20,000个中文符号来提高中文编
wshzd·2023-11-16 17:25

一口气了解大模型相关通识，基础笔记！

复杂度各不相同的A、B、C、D四项大模型(基座模型)，用于不同场景的应用;其中，A、B、C、D模型的全称分别是ada、babbage、curie(居里)和davinci（达芬奇），四个模型并不是GPT-3的微调模型
MR.CHEN.SONG·2023-11-16 13:24

EMNLP 2023 | DeepMind提出大模型In-Context Learning的可解释理论框架

作者也提到本文的方法与软提示（soft-prompt）[1]方法类似，soft-prompt也是通过调整大模型内部transformer的激活值来实现特定的新任务，但是本文的方法仅在ICL的前向传播过程中进行调整，而不是微调整个
TechBeat人工智能社区·2023-11-16 13:22

ASP.Net Core创建MVC项目上传多个文件（流方式）

  将之前文章《ASP.NetCore创建MVC项目上传单个文件（流方式）》的前端稍微调整一下，即可支持上传多个文件，修改的内容主要是在input的标签中增加multiple属性。
gc_2299·2023-11-16 12:51

使用GPT-4训练数据微调GPT-3.5 RAG管道

原文：使用GPT-4训练数据微调GPT-3.5RAG管道-知乎OpenAI在2023年8月22日宣布，现在可以对GPT-3.5Turbo进行微调了。也就是说，我们可以自定义自己的模型了。
javastart·2023-11-16 11:59
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他