TUNING

MindSpore深度学习模型快速调优

pipinstallMindInsight是不行的，还要改一个host文件里面的服务端口号改成你电脑的，具体操作流程我忘了，安装教程参考：mindinsight:Avisualdashboardformodeltuning
编程被我拿捏住了·2023-12-01 11:22

万字长文——这次彻底了解LLM大语言模型

文章目录前言一、浅析语言模型中的核心概念1.1分词：1.2词向量：1.3神经概率语言模型二、大语言模型发展历程三、LLM基本结构3.1预训练阶段工作步骤3.2预训练阶段模型结构3.3Fine-tuning
MonsterQy·2023-11-30 19:54

Table-GPT:让大语言模型理解表格数据

在这篇文章中，我们将介绍微软发表的一篇研究论文，“Table-GPT:Table-tuningGPTforDiverseTableTasks”，研究人员介绍了Table-GPT，一种针对该问题的GPT模型
天青色等烟雨..·2023-11-29 15:57

【nlp】4.5 迁移学习实践项目（相关概念、中文分类、填空、句子关系、模型微调）

迁移学习的基本概念1.3迁移学习的类型1.4迁移学习的应用1.5迁移学习的优势1.6迁移学习的缺点1.7迁移学习有关概念1.7.1预训练模型(Pretrainedmodel)1.7.2微调(Fine-tuning
lys_828·2023-11-29 13:38

LLM Fine-Tuning大模型FT方法

Herewediscussfine-tuningLlama2withacoupleofdifferentrecipes.Wewillcovertwoscenarioshere:1.ParameterEfficientModelFine-TuningThishelpsmakethefine-tuningprocessmoreaffordableevenon1consumergradeGPU.Thes
WitsMakeMen·2023-11-29 11:20

FlagEmbedding目前最好的sentence编码工具

FlagEmbedding专注于检索增强llm领域，目前包括以下项目:Fine-tuningofLM:LM-CocktailDenseRetrieval:LLMEmbedder,BGEEmbedding
WitsMakeMen·2023-11-29 11:49

2023.10DataWhale扩散模型学习笔记——Week2

diffusion-models-class/tree/main/unit2推荐阅读材料：《扩散模型-从原理到实战》第五章本文为大家介绍扩散模型的三种进阶操作方式：1.微调2.引导3.Conditioning微调（Fine-tuning
godlikesun97·2023-11-29 01:31

阅读笔记——《Removing RLHF Protections in GPT-4 via Fine-Tuning》

【参考文献】ZhanQ,FangR,BinduR,etal.RemovingRLHFProtectionsinGPT-4viaFine-Tuning[J].arXivpreprintarXiv:2311.05553,2023
恣睢s·2023-11-27 21:48

机器学习中四种调参方法总结

image介绍维基百科上说，“Hyperparameteroptimization或tuning是为学习算法选择一组最优的hyperparameters的问题”。
小小杨树·2023-11-27 15:44

TinyViT: 一种高效的蒸馏方法

目录背景方法大意快速预训练蒸馏(FastPretrainingDistillation,FPD)如何实现快速三个细节深入理解FPD模型架构训练trick预训练参数配置（Imagenet21k-pretraining）finetuning
莫叶何竹·2023-11-27 13:04

GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF

RewardModeling，RLHF文章目录GPT实战系列-GPT训练的Pretraining，SFT，RewardModeling，RLHFPretraining预训练阶段SupervisedFineTuning
Alex_StarSky·2023-11-27 11:09

GPT-3.5 Turbo 微调功能发布并更新 API

原文：GPT-3.5Turbofine-tuningandAPIupdates[1]翻译：iEricLeeGPT-3.5Turbo微调现已推出，GPT-4微调将于今年秋季推出。
dotNET跨平台·2023-11-27 05:34

Fine tuning 和 Pretrained

Finetuning和PretrainedFinetuning模型微调Pretrainedmodels代码示例Finetuning和Pretrained都是深度学习中常用的概念。
ywfwyht·2023-11-27 01:25

CVPR 2023 精选论文学习笔记：Meta-Tuning Loss Functions and Data Augmentation for Few-Shot Object Detection

我们给出以下四个分类标准：1.学习方法元学习：元学习是一种学习范式，旨在教模型如何快速学习新任务。在小样本学习的背景下，元学习算法在各种任务上进行训练，每个任务只有少数示例。这允许模型学习如何调整其学习过程以适应新任务，即使这些任务与它以前见过的任务非常不同。数据增强：数据增强是一种通过对现有数据应用转换来生成新训练数据的技术。这对于小样本学习来说可以是一种有用的技术，因为它可以帮助增加可用训练数
结构化文摘·2023-11-26 19:33

3分钟探索生成式AI｜针对现有的大语言模型做微调

为什么需要模型微调（Fine-tuning）？什么是LoRA/QLoRA？谈谈人工智能的知识底座。
亚马逊云开发者·2023-11-26 07:44

大模型微调技术

全量微调部分参数微调Adaper-Tuning降维的意义计算和存储成本去除冗余和噪声—特定任务训练数据有限减少模型复杂度避免过拟合风险适应任务需求过拟合是指模型在训练数据上表现得很好，但在新的未见过的数据上表现较差的现象模型过于复杂
数据与后端架构提升之路·2023-11-25 17:19

主流开源大语言模型的微调方法

文章目录模型ChatGLM2网址原生支持微调方式ChatGLM3网址原生支持微调方式Baichuan2网址原生支持微调方式Qwen网址原生支持微调方式框架FireflyEfficient-Tuning-LLMsSuperAdapters
羊城迷鹿·2023-11-23 19:11

【论文阅读笔记】Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack

EnhancingImageGenerationModelsUsingPhotogenicNeedlesinaHaystack论文阅读笔记论文信息摘要背景方法结果关键发现作者动机相关工作方法/模型LDM的架构预训练高质量数据对齐AutomaticFilteringHumanFiltering质量调整quality-tuning
LuH1124·2023-11-23 15:14

mayavi+pyinstaller

importsysfromcx_Freezeimportsetup,Executableimportosimportscipypath=sys.path#Dependenciesareautomaticallydetected,butitmightneedfinetuning.package
ddjjqq·2023-11-22 14:14

ChatGLM-6B大模型微调实战总结

在这个过程中，我将直接使用官方的P-Tuningv2工具对ChatGLM-6B模型进行参数微调。安装依赖进
MavenTalk·2023-11-22 06:00

《多GPU大模型训练与微调手册》

全参数微调Lora微调PTuning微调多GPU微调预备知识1.参数数据类型torch.dtype1.1半精度half-precisiontorch.float16：fp16就是float16，1个sign
Yuezero_·2023-11-22 06:22

关于 ISP Tuning的学习，分享几点看法

如上3条，可以依次循环去执行，下面我以ISPTuning的学习为例，分享几点看法。
木 东·2023-11-21 12:47

Auto-Tuning with Reinforcement Learning for Permissioned Blockchain Systems

文章目录摘要一、介绍二、相关工作2.1总账结构2.2织物优化三、系统结构四、作为DRL问题的自动调谐4.1参数和性能4.2问题的转化4.3RL用于自动调参4.4PB-MADDPG用于自动调参五、重要参数识别六、实验6.1设置6.2执行时间分解6.3调整效果和效率比较6.4参数数量的影响6.5适应性6.6奖励函数的评估6.7容错性的评估6.8总结七、讨论摘要在一个允许的区块链中，性能决定了它的发展，
miracleo_·2023-11-21 10:34

ROS知识（14）----局部避障的动态窗口算法（DWA）及其调试的方法

具体的教程可参考官方的导航调试资料NavigationTuningGuide。ROS的DWA（dwa_local_planner）应用到新机器人调试时，有一些技巧需要注意的，这里做一些总结。
weixin_30497527·2023-11-20 20:24

AE(2)_tuning时AE的一些策略

1、设置帧率：修改帧率可以通过修改V_Blank或者framelength。配置在寄存器中生效。一帧图像的曝光时间=帧长*一行时间。提高帧长，1帧图像的曝光时间就变大了，单位时间内可曝光的帧数就少了，也就是帧率就下降了。这就是项目中常用的通过降帧，来提高低照度下相机的性能。2、避免flicker:我们生活常用的是交流电,50Hz,电压220V。其变化规律如图所示，这种频率的能量变化反应在发光源上称
search7·2023-11-20 17:00

色彩的基础知识——适用于camera tuning

#灵感#AWBCC是图像调优中的一个重要色彩部分，了解一些色彩知识。目录1、光谱的颜色-------滤光片、颜色风格2、人眼的明暗视觉-----------侧向光学，对比度、色噪3、视觉残留-------帧率4、颜色的明度、色调、饱和度5、三基色RGB---------调CCM6、RGB系数、色度图7、同色温、不同颜色1、光谱的颜色-------滤光片、颜色风格可见光谱的波长范围在390~760n
search7·2023-11-20 17:22

spark性能调优 | 默认并行度

SparkSql默认并行度看官网，默认并行度200https://spark.apache.org/docs/2.4.5/sql-performance-tuning.html#other-configuration-options
Knight_AL·2023-11-19 18:04

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(一)

GPT实战系列-如何使用P-Tuning本地化训练ChatGLM2等LLM模型？文章目录GPT实战系列-如何使用P-Tuning本地化训练ChatGLM2等LLM模型？
Alex_StarSky·2023-11-19 08:37

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(二)

GPT实战系列-如何使用P-Tuning本地化训练ChatGLM2等LLM模型？
Alex_StarSky·2023-11-19 08:04

优化｜优化求解器自动调参

原文信息：MindOptTuner:BoostthePerformanceofNumericalSoftwarebyAutomaticParameterTuning作者：王孟昌（达摩院决策智能实验室MindOpt
运筹OR帷幄·2023-11-19 05:44

033、微调

之——高级炼丹术目录之——高级炼丹术杂谈正文1.标注数据集是很贵的2.微调的思想3.尝试小结杂谈微调（Fine-tuning）是深度学习中的一种常见策略，它通常用于预训练模型在特定任务上的性能提升。
Here we are——wxl·2023-11-19 00:33

AI语音克隆

安装下载安装github代码库gitclonehttps://github.com/Plachtaa/VITS-fast-fine-tuning.git安装文档中日语言模型网站目前支持的任务:从10条以上的短音频克隆角色声音从
遂古之初，谁传道之·2023-11-18 18:47

【论文】P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

1.论文介绍1.1之前的方法存在的局限性缺乏跨尺度的普遍性。模型参数较少时，远不如微调任务间缺乏通用性。有效性可能只能局限在一些特定的任务中1.2当前方法的改进如上图所示，不同层中的promote被添加为前缀令牌1.3优化与实现embeddingVSMLP重参数化作者的观点是：它的有用性取决于任务和数据集。（如上图Prompt长度一般来说，简单的分类任务喜欢较短的提示(少于20个);硬序列标记任务
weixin_50862344·2023-11-17 05:01

【论文解读】GPT Understands, Too

一.论文1.1P-tuning区别于之前的工作，这篇工作认为promote可以在句子中的任意位置起到作用，可以将它们插入上下文或目标中上图中，左图是不使用任何操作，右图是选择在居首和目标前插入promote
weixin_50862344·2023-11-17 04:16

NEFTune: 通过简单的噪声提升指令精调效果

NEFTune指的是NoiseEmbeddingFinetuning（噪声嵌入精调），提出自论文：NEFTune:NOISYEMBEDDINGSIMPROVEINSTRUCTIONFINETUNING。
从流域到海域·2023-11-17 03:02

DEC-DA：Deep Embedded Clustering with Data Augmentation

相关工作3.1DenoisingAutoencoder3.2DeepEmbeddedClustering4DEC_DA4.1AutoencoderwithDataAugmentation4.2FinetuningwithDataAugmentation4.3InstantiationandImplem
^_^linger^_^·2023-11-16 04:59

调用resnet50权重_TensorFlow 使用预训练模型 ResNet-50（续）

TensorFlow使用预训练模型ResNet-50介绍了使用tf.contrib.slim模块来简单导入TensorFlow预训练模型参数，进而使用slim.learning.train函数来finetuning
跳动的数字·2023-11-15 22:10

数据库方面的面试技巧，如何从建表方面展示自己能力

优化是个大话题，可以从索引，建表和SQL调优（SQLTuning）方面入手，这个我们来分析下建表时需要注意的优化点。我一般会问候选人，“你有没有
weixin_34390996·2023-11-15 00:14

caffe使用step by step：caffe框架下的基本操作和分析

框架环境比较简单，但是完整的从数据准备->模型训练->调参数->合理结果需要一个比较长的过程，这个过程中你需要对caffe中很多东西，细节进行深入的理解，这样才可以知道为什么能有这样的结果，在训练或者fine-tuning
weixin_30699955·2023-11-14 17:38

Caffe使用step by step：caffe框架下的基本操作和分析

框架环境比较简单，但是完整的从数据准备->模型训练->调参数->合理结果需要一个比较长的过程，这个过程中你需要对caffe中很多东西，细节进行深入的理解，这样才可以知道为什么能有这样的结果，在训练或者fine-tuning
Omni-Space·2023-11-14 16:32

Caffe框架的基本操作和分析

框架环境比较简单，但是完整的从数据准备->模型训练->调参数->合理结果需要一个比较长的过程，这个过程中你需要对caffe中很多东西，细节进行深入的理解，这样才可以知道为什么能有这样的结果，在训练或者fine-tuning
LittleStudent12·2023-11-14 16:27

camera tuning 常识

#灵感#把收集的乱东西，归在一起。字体颜色标浅色的，是扩展内容，为了先简单了解，并不做很细致的阐述。（1）模组集成封装好的模组，一般由三个部分组成：镜头（lens）、感应器(sensor)和图像信号处理器构成。一般情况下，集成好的模组我们只看到外面的镜头、接口和封装壳，这种一般是固定焦距的。摄像头模组，全称CameraCompactModule，简写为CCM。CCM包含四⼤件：镜头(lens)、传
search7·2023-11-14 09:34

使用LLM-Tuning实现百川和清华ChatGLM的Lora微调

LLM-Tuning项目源码：GitHub-beyondguo/LLM-Tuning:TuningLLMswithnotears,sharingLLM-toolswithlove❤️.TuningLLMswithnotears
培根芝士·2023-11-14 04:21

小白入门isp之调试思路篇

如果接触过hisi调试，相信看完hisi的tuning文档，我这篇文章会显得很多余，所以还是借鉴hisi文档的思想来记录下。isptuning基本可以分成前期标定和调试。
云-天河·2023-11-14 01:55

FD-Align论文阅读

FD-Align:FeatureDiscriminationAlignmentforFine-tuningPre-TrainedModelsinFew-ShotLearning（NeurIPS2023）
B1CK·2023-11-13 14:50

Fine-Tuning Paradigm

Fine-TuningParadigm（微调范式）是指在深度学习模型中，训练一个已经预训练过的模型，通过对其进行微调以适应新的任务。
chunmiao3032·2023-11-13 03:18

基于飞浆NLP的BERT-finetuning新闻文本分类

目录1.数据预处理2.加载模型3.批训练4.准确率1.数据预处理导入所需库importnumpyasnpfrompaddle.ioimportDataLoader,TensorDatasetfrompaddlenlp.transformersimportBertForSequenceClassification,BertTokenizerfromsklearn.model_selectionimp
装B且挨揍の·2023-11-11 04:44

【论文阅读】AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Modelswithout Specific Tuning

AnimateDiff:个性化文本到图像扩散模型的动画化，无需特定调整paper：https://arxiv.org/abs/2307.04725code：GitHub-guoyww/AnimateDiff:OfficialimplementationofAnimateDiff.目录1.摘要2.引言3.算法3.1Preliminaries3.2.PersonalizedAnimation3.3Mo
李加号pluuuus·2023-11-10 22:38

OPENAI 开发者大会_观后感_231107

（GPT3.5的JSON已明显好于其它模型，更进一步）检索功能+分析资料+2023.4月知识库（之前这些功能由外围提供，纳入外围）多模态集成（之前大家自行实现，降维打击，构建生态）GPT-4find-tuning
xieyan0811·2023-11-10 07:59

EMNLP2023 | 让模型学会将提示插入到合适的中间层

论文：ImprovingPromptTuningwithLearnedPromptingLayers地址：https://arxiv.org/
zenRRan·2023-11-09 08:10
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他