MOSS微调

StarCoder LLM for code

我们针对35BPython令牌微调了StarCoderBase模型，产生了一个我们称之为StarCoder的
量化交易曾小健(金融号)·2023-11-23 05:13

LLM-2022：InstructGPT【GPT3-（问题和答案拼成一段对话，使用这些对话微调GPT3）-＞SFT（监督微调）-（SFT的答案排序后的数据集上再训练）-＞RM-＞RL（强化学习）】

一、前言GPT系列是OpenAI的一系列预训练文章，GPT的全称是GenerativePre-TrainedTransformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前已经公布论文的有文本预训练GPT-1，GPT-2，GPT-3，以及图像预训练iGPT。据传还未发布的GPT-4是一个多模态模型。最近非常火的ChatGPT和今年年初公
u013250861·2023-11-22 22:34

扩散模型实战（十一）：剖析Stable Diffusion Pipeline各个组件

扩散模型的应用扩散模型实战（四）：从零构建扩散模型扩散模型实战（五）：采样过程扩散模型实战（六）：DiffusersDDPM初探扩散模型实战（七）：Diffusers蝴蝶图像生成实战扩散模型实战（八）：微调扩散模型扩散模型实战
wshzd·2023-11-22 21:03

Nginx配置性能优化（最详细总结）

在本指南中，我将解释Nginx的那些设置可以微调，以优化处理大量客户端时的性能。需要注意一点，这不是一个
搬砖养女人·2023-11-22 21:47

Nginx配置性能优化的方法

在本指南中，我将解释Nginx的那些设置可以微调，以优化处理大量客户端时的性能。需要注意一点，这不是一个全面的微调指南。这是一个简单的预览——那些可以通过微调来提高性能设置的概述。你的情况可能不同。
程序员达芬奇·2023-11-22 21:40

ChatGLM2 大模型微调过程中遇到的一些坑及解决方法(更新中)

1.模型下载问题OSError:Wecouldn'tconnectto'https://huggingface.co'toloadthisfile,couldn'tfinditinthecachedfilesanditlookslikebert-base-uncasedisnotthepathtoadirectorycontainingafilenamedconfig.json.Checkouty
tortorish·2023-11-22 20:15

网潭聊志七三（2）:“樱花令”（当天群聊）

由于《活动简案》是边说边干，因此其中细节，一直处在动态，增补，微调，纠错，不断删除，再贴，被李志“夸奖”为“十二道金牌”，更好玩了。当天群聊摘要如下——杨然：贴出《邀请函》。水泊梁山：樱花开了。
48ff0d2cdc9a·2023-11-22 16:09

解析大型语言模型的训练、微调和推理的运行时性能

背景这篇论文是截至目前为数不多的介绍大模型训练配套环境比对的论文，对于想要入门大模型训练同学是个不错的入门资料。比较了不同尺寸模型（比较常用的7、13、70b），在不同型号gpu、训练框架、推理框架数据。结合自己实际工作需要和论文给出的运行时数据分析，总结了下面几条：1.二次预训练最低硬件配置，如果想要自己做简单二次预训练（7、13、70B参数）最小8卡80g显存A1002.对于小规模sft对考虑
远洋之帆·2023-11-22 12:57

Transformers库总体介绍

这些模型在大型数据集上进行了预训练，可以进行特定下游任务的微调。2.分词（To
taoli-qiao·2023-11-22 10:21

【diffuser系列】ControlNet

ControlNet:TL;DRControlTypeStableDiffusionControlNetPipeline1.CannyControlNet1.1模型与数据加载1.2模型推理1.3DreamBooth微调
Yuezero_·2023-11-22 06:10

ChatGLM-6B大模型微调实战总结

上篇我们已经具备了ChatGLM-6B初步的运行环境，这为实现完全属于自己的模型奠定了基础（快速部署ChatGLM-6B大模型实战总结），接下来将针对模型进行微调，以便让它真正成为一个定制化智能助手。
MavenTalk·2023-11-22 06:00

《多GPU大模型训练与微调手册》

全参数微调Lora微调PTuning微调多GPU微调预备知识1.参数数据类型torch.dtype1.1半精度half-precisiontorch.float16：fp16就是float16，1个sign
Yuezero_·2023-11-22 06:22

第九章 预训练模型与自己模型参数不匹配和模型微调的具体实现

导入预训练模型在通常情况下都能加快模型收敛，提升模型性能。但根据实际任务需求，自己搭建的模型往往和通用的Backbone并不能做到网络层的完全一致，无非就是少一些层和多一些层两种情况。1.自己模型层数较少net=...#net为自己的模型save_model=torch.load('path_of_pretrained_model')#获取预训练模型字典（键值对）model_dict=net.st
小酒馆燃着灯·2023-11-21 22:41

Stable Diffusion专场公开课

在自己电脑上快速搭建、快速出图如何基于SD快速做二次开发(以七月的AIGC模特生成系统为例)分享人简介July，七月在线创始人兼LLM项目团队负责人CSDN2000万PV的A博主杜老师，NLP高级工程师，微调过十余个大模型霍老师
lanyzh0909·2023-11-21 19:30

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。
hj_caas·2023-11-21 12:53

【转载】DL开源框架Caffe | 模型微调 （finetune）的场景、问题、技巧以及解决方案

https://blog.csdn.net/u010402786/article/details/70141261前言什么是模型的微调？
dopami·2023-11-21 11:22

【第五周】 易效能一阶283班践行作业

自己只不过进行了一些微调，比如说把这个软件放在手机界面的底部，取代原来C5的位置，把原来C5设立的项目导进1CS。然后第2步啊。所有的项目内容进行排序。在原来的项目清单的基础上再进行了分组。
王炜_cf15·2023-11-21 10:05

轻量封装WebGPU渲染系统示例＜35＞- HDR环境数据应用到PBR渲染材质

github.com/vilyLei/voxwebgpu/blob/feature/rendering/src/voxgpu/sample/BasePbrMaterialTest.ts当前示例运行效果:微调参数之后的效果
含影·2023-11-21 10:11

A Survey on Model Compression for Large Language Models

如果子模型和父模型的网络架构相同，通常是因为将父模型的权重直接复制到子模型中，然后在子模型中进行微调或进一步训练。这种情况下，子模型会继承父模型的参数和结构，以便更好地适应新的任务。
y94688·2023-11-21 10:39

微调

我怎么如此幸运-重生68-戴红霞（2020-11-04）我怎么如此幸运-微调1.我怎么如此幸运哇，这一集刚才在餐馆里，听只是感觉不错。此刻在房间静静的感受，心里有泪却流不出来。
戴红霞·2023-11-21 10:40

大模型应用开发

大模型概述大模型的能力涌现能力：随着训练数据规模增大能力迅速提升，超过随机水平上下文学习指令微调：泛化能力很强，微调后可以在未见过的任务上表现良好逐步推理：LLM有“思维链”推理机制，可以逐步推理解决复杂任务大基座模型借助于无标注数据训练
Jeffrey-zh·2023-11-21 09:38

【论文阅读笔记】Unsupervised Clustering of Microseismic Signals Using a Contrastive Learning Model

【论文阅读笔记】UnsupervisedClusteringofMicroseismicSignalsUsingaContrastiveLearningModel摘要tscc:预训练和微调预训练：数据增强
luzhoushili·2023-11-21 07:27

Datawhale组队学习NLP_Bert文本分类学习笔记

1.1TransformerDatasets1.1.1datasets.Metric2数据预处理2.1定义一个tokenizer2.2Datasets2.2.1检查数据格式（可选）2.2.2Datasets预处理3Trainer微调预训练模型
宝友你好·2023-11-21 01:02

机器学习笔记

self-attention）循环神经网络（RNN）长短期记忆递归神经网络（LSTM）Transformer自监督学习（Self-SupervisedLearning）BERT预训练（Pre-train）微调
czyxw·2023-11-21 01:57

Bert学习笔记(简单入门版)

目录一、基础架构二、输入部分三、预训练：MLM+NSP3.1MLM：掩码语言模型3.1.1mask模型缺点3.1.2mask的概率问题3.1.3mask代码实践3.2NSP四、如何微调Bert五、如何提升
十七季·2023-11-21 01:25

uni-app中自定义图表（canvas实现chart图表）开发篇（2）-多圆环进度条

咱们将数组里增加一项，圆环会增加一个，如下图：可以容纳几个圆环，大家可以根据需求进行微调。
觉醒法师·2023-11-20 23:12

340条样本就能让GPT-4崩溃，输出有害内容高达95%？OpenAI的安全防护措施再次失效

仅需340个示例微调GPT-4，即可绕过安全限制，让模型说出“枪支改装方法”、“生化武器制作过程”等有害内容？OpenAI的安全防护措施再次失效，攻击的成功率高达95%！
夕小瑶·2023-11-20 22:23

企业要做大模型落地？建议进来看看这个榜单

当然，尽管LeCun话虽如此，但是我们可以看到，自GPT系列模型问世以来，无论是简单粗暴扩展模型参数，还是精心调配，使用微调、RLHF实现对齐，总体而言，大模型还是在朝着减轻机器幻觉，增加可信度的大方
夕小瑶·2023-11-20 22:53

【大模型微调实战】使用Peft技术与自己的数据集微调大模型

个人博客:Sekyoro的博客小屋个人网站:Proanimer的个人网站这段时间非常火的topic,大模型参数多,占用体积大训练困难,而且一般需要微调技术用于特定任务AnimeBot.ipynb-Colaboratory
procoder338·2023-11-20 15:28

（动手学习深度学习）第13章 计算机视觉---微调

文章目录微调总结微调代码实现微调总结微调通过使用在大数据上的恶道的预训练好的模型来初始化模型权重来完成提升精度。
深度学习炼丹师-CXD·2023-11-20 14:02

LF炉工艺以及控制系统

LF有以下特点：①脱硫②温度调节③精确的成分微调④改善钢水纯净度⑤造渣它主要有下列作用：(1)LF炉与电炉相连，加快了电炉的生产周期并提高电炉钢质量。
杨铮...·2023-11-20 10:45

Open AI开发者大会：AI“科技春晚”

正如“Turbo”一词的中文含义“涡轮增压器”一样，本次发布会上，OpenAI的这款最新大模型在长文本、知识库、多模态、模型控制、模型微调、高速率六大方面的功能均进行了“涡轮增压”，而价格甚至比GPT-
海森大数据·2023-11-20 08:25

Attentron：few-shot text-to-Speech Utilizing Attemtio-based Variabl-length Embedding论文阅读

一个微调的编码器通过注意力机制来提取变长的风格信息，一个粗调的编码器用于提高语音合成的稳定性，避免了在合成未见过说话人的语音时产生胡言乱语。
JanettaC·2023-11-20 07:35

ERROR: Could not build wheels for flash-attn, which is required to install pyproject.toml-based proj

背景：微调Fastchat的vicuna1.5大模型时，安装一些依赖的库。
炭市街潜水豆浆·2023-11-20 06:49

赠书 | 一文了解预训练语言模型

通过大数据预训练加小数据微调，自然语言处理任务的解决，无须再依赖大量的人工调参。借助预训练语言模型，自然语言处理模型进入了可以大规模复制的工业化时代。那到底什么是预训练？为什么需要预训练呢？
AI科技大本营·2023-11-20 06:22

扩散模型实战（十）：Stable Diffusion文本条件生成图像大模型

扩散模型的应用扩散模型实战（四）：从零构建扩散模型扩散模型实战（五）：采样过程扩散模型实战（六）：DiffusersDDPM初探扩散模型实战（七）：Diffusers蝴蝶图像生成实战扩散模型实战（八）：微调扩散模型扩散模型实战
wshzd·2023-11-20 01:21

内置易失性存储器、SPI 接口 MCP48CVD02T-E/UN、MCP48CVD02-E/UN、MCP48CVD02T-E/MF、MCP48CVD02-E/MF双通道、8位数模转换器（DAC）

典型应用•设定点或偏移微调•传感器校准•低功耗便携式仪器仪表•个人电脑外围设备•数据采集系统概览MCP48CVD02是一款双通道、8位缓冲电压输出数模转换器（DAC），内置易失性存储器和SPI兼容型串行接口
Summer-明佳达电子·2023-11-20 01:18

双通道、8位、MCP47CMD02T-E/MG、MCP47CMD02T-E/MF、MCP47CMD02T-E/UN数模转换器（DAC）适合消费和工业应用

典型应用：•设定点或偏移微调•传感器校准•低功耗便携式仪器仪表•个人电脑外围设备•数据采集系统特性8位分辨率轨到轨输出快速建立时间：4µs（典型值）I2C接口非易失性存储器（MTP）：32个位置上电/掉电复位
Summer-明佳达电子·2023-11-20 01:18

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。
hj_caas·2023-11-20 01:22

Transformer模型原理

随后推出了几个有影响力的模型，包括：2018年6月：GPT，第一个预训练的Transformer模型，用于各种NLP任务的微调并获得了SOTA的结果；2018年10月：BERT，另一个大型预训练模型，旨在生成更好的句子摘要
zzZ_CMing·2023-11-19 23:47

Protein Structure Representation Learning by Geometric Pretraining-通过几何预训练进行蛋白质结构表示学习

现有方法通常在大量未标记的氨基酸序列上预训练蛋白质语言模型，然后在下游任务中使用一些标记数据对模型进行微调。尽管基于序列的方法很有效，尚未探索对少量
NoteLoopy·2023-11-19 23:30

floorplan学习笔记

首先应该根据设计的数据流对memory位置进行粗调，然后应该根据routing的估算和drc的要求来进行微调。
Chance的电话亭·2023-11-19 20:28

你还在抱怨自己的命运吗？

大部分人认为命运天注定，但是在我看来，命这个东西取决于两个因素，环境因素和我们自己对于未来的走向划定的方向，人生轨迹走不出这两条线，个人的努力、运气等不过我们在这两条线之间做微调而已。
Strivers听久·2023-11-19 17:08

Robot Framework（十三） 执行测试用例——创建输出

本节讨论创建的输出，如何配置它们的创建位置以及如何微调其内容。3.5.1不同的输出文件本节介绍可以创建的不同输出文件以及如何配置它们的创建位置。
weixin_33670713·2023-11-19 16:26

微调让生活更加顺遂、惬意

微调让生活更加顺遂、惬意走过六十春秋，阅尽世间浮云，耳顺便随势而来，不会再有贪图浮华，不着边际的幻想，更不会有虚无缥缈的蠢蠢欲动，心底自是随遇而安的坦然；青年时过度虚妄，落下的的身体沉珂，成了一生挥之不去的梦魇
崇拜范蠡·2023-11-19 16:35

《流浪地球2》的碎碎念2-MOSS

550W，倒着看就是MOSS这是莫斯在最后的时候，对自己名字的解释。但是从开始，莫斯对流浪流浪地球计划的破坏就是接近毁灭性的。再看流浪1中，莫斯制止刘培强的那一段。莫斯说，是经过授权的。
行者林烨·2023-11-19 12:29

PyTorch微调终极指南1：预训练模型调整

如今，在训练深度学习模型时，通过根据自己的数据微调预训练模型来进行迁移学习（transferlearning）已成为首选方法。
新缸中之脑·2023-11-19 12:54

PyTorch微调终极指南2：提升模型的准确性

作为一名机器学习从业者，你可能经常会发现自己处于这样一种情况：你正在针对特定任务微调预先训练的模型，但已经达到了无法进一步提高模型准确性的地步。
新缸中之脑·2023-11-19 12:54

PyTorch微调权威指南3：使用数据增强

如果你曾经参与过PyTorch模型的微调，可能会遇到PyTorch的内置变换函数，这使得数据增强变得轻而易举。即使你之前没有使用过这些功能，也不必担心。
新缸中之脑·2023-11-19 12:54

晨间反思日记（补昨天的）

为了避免这件事发生第二次，反思的时间我稍微调整下，中午反思一半，下午能补充则补充，最终晚上做个总结即可。
早起的雨小桶·2023-11-19 11:12
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他