TUNING】第10页

颜色校正矩阵（CCM）的简单介绍

目录前言1CCM的简单介绍1.1为什么要做CCM1.2CCM的含义2CCM调试方法3结论前言在ISPtuning过程中经常会遇到通过各个平台算法标定的颜色校正矩阵（CCM）不能完全满足需求的情况，比如饱和度偏低或者偏高

会动的果子·2023-10-03 04:24

WebLogic-执行队列

一，TuningtheApplicationServer二，执行队列UsingWorkManagerstoOptimizeScheduledWorkThischapterdescribeshowWebLogicServer12.1.3letsyouconfigurehowyourapplicationprioritizestheexecutionofitsworkusingaWorkManager

yangkei·2023-10-02 04:38

Google colab 基于BERTopic 特朗普推文的动态主题建模

目录动态主题模型下载BERTopic数据处理基本主题模型随时间推移的主题注意参数docstimestampsglobal_tuningevolution_tuningnr_bins随时间推移可视化主题我们将使用动态主题建模和

timberman666·2023-10-02 00:15

Prompt Tuning：深度解读一种新的微调范式

作者|王嘉宁整理|NewBeeNLPhttps://wjn1996.blog.csdn.net/article/details/120607050这绝对是我看过最全面细致的PromptTuning技术综述之一

风度78·2023-10-02 00:14

【模型压缩】Distiller学习-初认识

基础上安装压缩方法权重正则化方法权重剪枝方法训练后量化方法训练时量化方法条件计算低质分解方法知识蒸馏方法总体目录核心代码实现所有案例的配置文件举例初始化网络评价网络模型的参数重要性移除不重要的神经元fine-tuning

luzhoushili·2023-10-01 18:43

ChatGPT 学习笔记 | 什么是 Prompt-tuning？

文章目录一、前言二、主要内容三、总结CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言Prompt-tuningisanefficient,low-costwayofadaptinganAIfoundationmodeltonewdownstreamtaskswithoutretrainingthemodelandupdatingitsweights

叶庭云·2023-10-01 03:33

【论文极速读】Prompt Tuning——一种高效的LLM模型下游任务适配方式

【论文极速读】PromptTuning——一种高效的LLM模型下游任务适配方式FesianXu20230928atBaiduSearchTeam前言PromptTuning是一种PEFT方法（Parameter-EfficientFineTune

FesianXu·2023-09-30 02:21

Baichuan2 技术报告笔记

文章目录预训练预训练数据模型架构TokenizerPositionalEmbeddingsAcitivationsandNormalizationsOptimizations对齐SupervisedFine-TuningRLHF

chencjiajy·2023-09-29 22:26

peft代码解读:Prefix Tuning/LoRA/P-Tuning/Prompt Tuning

GitHub-Xianchao-Wu/peft:PEFT:State-of-the-artParameter-EfficientFine-Tuning.PEFTLoRA:LORA:LOW-RANKADAPTATIONOFLARGELANGUAGEMODELSPrefixTuning

zhurui_xiaozhuzaizai·2023-09-26 23:16

[论文学习]P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Task

[论文学习]P-TuningV2P-Tuningv2:PromptTuningCanBeComparabletoFine-tuningUniversallyAcrossScalesandTasksP-Tuningv2

simpsun·2023-09-26 23:44

LLaMA Efficient Tuning 主流大模型的高效工具【预训练+指令监督微调】

LLaMAEfficientTuning的简介2023年6月发布的LLaMAEfficientTuning，它是一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/

张志翔的博客·2023-09-26 19:59

ChatGLM2-6B微调实践

可以用来微调ChatGLM2-6B的开源项目https://github.com/THUDM/ChatGLM2-6Bhttps://github.com/hiyouga/ChatGLM-Efficient-Tuninghttps

weixin_43870390·2023-09-26 12:49

zeek：一款流量分析探针

软件设置01输出json格式日志目录/opt/zeek/share/zeek/site下local.zeek文件中，追加下面一句话#OutputtoJSON@loadpolicy/tuning/json-logs.zeek

猪肉炖白菜·2023-09-26 11:37

[论文笔记]P-tuning

本篇工作提出的方法是P-tuning，使用可训练的连续提示嵌入，使GPT在NLU上表现比传统的全量微调的GPT更好的效果。

愤怒的可乐·2023-09-26 02:00

Greenplum - 优化SQL语句

注：本文翻译自官网https://docs.vmware.com/en/VMware-Greenplum/7/greenplum-database/best_practices-tuning_queries.htmlGreenplum

post_yuan·2023-09-25 20:19

Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Reliable Response

本文是LLM系列的文章，针对《Knowledge-tuningLargeLanguageModelswithStructuredMedicalKnowledgeBasesforReliableResponseGenerationinChinese

UnknownBody·2023-09-25 11:27

flink中不同序列化器性能对比

flink内置的以及fallback到kryo的，那么他们之间有多大的性能差距呢，本文就从https://flink.apache.org/2020/04/15/flink-serialization-tuning-vol

lixia0417mul2·2023-09-25 05:26

论文阅读 - Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGP

无脑敲代码，bug漫天飞·2023-09-25 01:17

【AI视野·今日NLP 自然语言处理论文速览第三十九期】Fri, 22 Sep 2023

自然语言处理论文速览Fri,22Sep2023Totally59papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersLongLoRA:EfficientFine-tuningofLong-ContextLargeLanguageModelsAuthorsYukangChen

hitrjj·2023-09-24 15:02

DAB-DETR

DynamicAnchorBoxes贡献：明确了不是由于learnablequeries导致的收敛缓慢4DanchorAnchorUpdateWidth&HeightModulatedTemperatureTuning

白蜡虫可·2023-09-24 04:39

ChatGLM Embedding+LangChain构建行业知识库

在上两篇文章中，介绍了如何利用白嫖阿里云服务器，DIY部署AI大模型ChatGLM2-6b；以及大模型的进阶，如何基于P-TuningV2微调ChatGLM2-6b打造一个个性化的定制A

张志翔的博客·2023-09-23 16:34

AnimateDiff Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning 机器翻译

摘要随着文本到图像模型（如稳定扩散[22]）以及相应的个性化技术（如DreamBooth[24]和LoRA[13]）的发展，每个人都能以低廉的成本将自己的想象力转化为高质量的图像。因此，人们对图像动画技术提出了更高的要求，以进一步将生成的静态图像与动态图像相结合。在本报告中，我们提出了一个实用的框架，可将大多数现有的个性化文本到图像模型一劳永逸地制作成动画，从而节省了对模型进行特定调整的工作量。建

qcwlmqy·2023-09-23 15:18

ChatGLM2-6B 部署与微调

文章目录一、ChatGLM-6B二、ChatGLM2-6B三、本地部署ChatGLM2-6B3.1命令行模式3.2网页版部署3.3本地加载模型权重3.4模型量化3.5CPU部署3.6多卡部署四、P-tuningv2

神洛华·2023-09-23 12:35

[论文笔记]P-tuning v2

引言今天带来第五篇大模型微调论文笔记P-tuningv2:PromptTuningCanBeComparabletoFine-tuningAcrossScalesandTasks。

愤怒的可乐·2023-09-23 09:10

iMX6UL之 OpenWRT移植与编译

配置如下：CompileTuning因为imx6ul是Cortex-A7，所以我们需要更改一下选择好T

peixiuhui·2023-09-23 09:29

LLM（二）| LIMA：在1k高质量数据上微调LLaMA1-65B，性能超越ChatGPT

本文将介绍在Lit-GPT上使用LoRA微调LLaMA模型，并介绍如何自定义数据集进行微调其他开源LLM监督指令微调（SupervisedInstructionFinetuning）什么是监督指令微调？

wshzd·2023-09-23 08:56

ChatGLM P-Tuningv2微调定制AI大模型

Fine-tuning（微调）在机器学习中也是类似的概念。当我们使用预先训练好的模型（预训练Pre-training）来解决一个特定的任务时，有时我们需要对这个模型进行微调。

张志翔的博客·2023-09-22 13:47

大模型Tuning分类

类型总结微调（Fine-tunning）语言模型的参数需要一起参与梯度更新轻量微调（lightweightfine-tunning）冻结了大部分预训练参数，仅添加任务层，语言模型层参数不变适配器微调（Adapter-tunning）Adapter在预训练模型每层中插入用于下游任务的参数，在微调时将模型主体冻结，仅训练特定于任务的参数，减少训练时算力开销提示学习（Prompting）任务输入前添加一

HIT-LQM·2023-09-22 13:37

[论文笔记]Prefix Tuning

引言今天带来微调LLM的第二篇论文笔记Prefix-Tuning。

愤怒的可乐·2023-09-22 09:51

[论文笔记]Prompt Tuning

引言今天带来第三篇大模型微调论文笔记ThePowerofScaleforParameter-EfficientPromptTuning。

愤怒的可乐·2023-09-22 09:47

ChatGLM LoRA微调定制AI大模型

P-TuningV2：

张志翔的博客·2023-09-22 04:06

大模型训练之加速篇 -＞ peft(Lora) -＞ accelerator -＞ deepspeed (Zero)

HUGGINFACEPEFT库：实现LORA，prefix-tuning.prompttuning,AdaLoRA,LLaMA-Adapter训练的库HUGGINFACEaccelerator库：是一个将

zhurui_xiaozhuzaizai·2023-09-22 03:22

人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

人工智能大语言模型微调技术：SFT监督微调、LoRA微调方法、P-tuningv2微调方法、Freeze监督微调方法1.SFT监督微调1.1SFT监督微调基本概念SFT（SupervisedFine-Tuning

·2023-09-22 01:08

ChatGLM微调基于P-Tuning/LoRA/Full parameter（中）

1.ChatGLM模型介绍ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、

张志翔的博客·2023-09-21 22:46

第七篇-Tesla P40+ChatGLM2+P-Tuning

本文目的本文仅仅是测试一下ptuning技术方案，使用少量数据测试下微调流程环境系统：CentOS-7CPU:14C28T显卡：TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26

木卫二号Coding·2023-09-21 15:51

从零开始训练大模型

从零开始训练大模型目录1.预训练阶段1.1TokenizerTraining1.2LanguageModelPreTraining1.3数据集清理1.4模型效果评测2.指令微调阶段（InstructionTuningStage

Runjavago·2023-09-21 15:51

ChatGPT技术原理

Task03ChatGPT技术原理目录阶段一：有监督微调Supervisedfine-tuning(SFT)阶段二：训练回报模型（RewardModel,RM）阶段三：使用强化学习微调SFT模型ChatGPT

Runjavago·2023-09-21 05:19

ChatGLM-6B 做 LoRA fine tuning训练模型在闻达中使用

ChatGLM-6B做LoRAfinetuning训练和预测方法闻达搭建paddingpadding_qq_26689303的博客-CSDN博客第一个链接文章做出来的模型怎么整合到第二个链接搭建的闻达里呢

qq_26689303·2023-09-21 04:23

BERT：面向语言理解的深度双向Transformer预训练

使用预训练模型做特征表示的时候一般有两类策略：1.基于特征featurebased（Elmo）把学到的特征和输入一起放进去做一个很好的特征表达2.基于微调fine-tuning（GPT）但是都用的是单向语言模型

Scabbards_·2023-09-21 00:15

MAMMOTH: BUILDING MATH GENERALIST MODELS THROUGH HYBRID INSTRUCTION TUNING

PapernameMAMMOTH:BUILDINGMATHGENERALISTMODELSTHROUGHHYBRIDINSTRUCTIONTUNINGPaperReadingNotePaperURL:https

kebijuelun·2023-09-20 19:44

InstructGPT高效实践——【DeepSpeed-Chat】源码详解(3/3)：RLHF Finetuning

目录前言3phase-3:RLHFFinetuning3.1训练数据样例3.1基本数据3.2经验数据3.2训练过程3.3关键代码详解3.3.1读取数据集及Datacollator3.3.1.1prompt

Remixa·2023-09-20 14:24

【论文阅读】检索增强发展历程及相关文章总结

文章目录前言Knn-LMInsightMethodResultsDomainAdaptionTuningNearestNeighborSearchAnalysisREALMInsightsMethodKnowledgeRetrieverKnowledge-AugmentedEncoderExpResultAblationStudyCaseStudyDPRInsightMethodExperimen

长命百岁️·2023-09-20 09:12

OpenAI Fine-Tuning（微调）

Spielberg_1·2023-09-20 01:06

[论文笔记]Adapter turning

引言今天带来第一篇大语言模型高效微调的论文AdapterTuning笔记。预训练+微调的范式是一种高效的迁移学习机制。然而，当有很多下游任务时，微调参数并不高效：对于每个任务都要有一个全新的模型。

愤怒的可乐·2023-09-19 21:22

ChatGLM 项目集合

chatGLM项目对ChatGLM进行加速或者重新实现的开源项目：SwissArmyTransformer:一个Transformer统一编程框架，ChatGLM-6B已经在SAT中进行实现并可以进行P-tuning

张志翔的博客·2023-09-19 16:00

ChatGLM微调基于P-Tuning/LoRA/Full parameter（上）

1.准备环境首先必须有7个G的显存以上，torch>=1.10需要根据你的cuda版本1.1模型下载$gitlfsinstall$gitclonehttps://huggingface.co/THUDM/chatglm-6b1.2docker环境搭建环境搭建$sudodockerpullslpcat/chatglm-6b:latest$sudodockerrun-it-d-v/data/:/wor

张志翔的博客·2023-09-19 16:11

ChatGLM 通俗理解大模型的各大微调方法：从LoRA、QLoRA到P-Tuning V1/V2

前言PEFT方法仅微调少量(额外)模型参数，同时冻结预训练LLM的大部分参数第一部分高效参数微调的发展史1.1Google之AdapterTuning：嵌入在transformer里原有参数不变只微调新增的

张志翔的博客·2023-09-19 09:40

目标检测网络之Fast-RCNN

的训练方法样本选择方法SGD参数设置多尺度图像训练SVD压缩全连接层对比实验对比实验使用到的网络结构VOC2010和VOC2012数据集结果VOC2007数据集结果训练和推理时间比对哪些层需要进行微调fine-tuning

新兴AI民工·2023-09-18 22:53

UNIFIED VISION AND LANGUAGE PROMPT LEARNING

https://github.com/yuhangzang/UPT目录摘要1.简介2.方法2.1PRELIMINARIES（回顾之前的方法）2.2Analysis(分析)2.3UnifiedPromptTuning

zzzz~08·2023-09-18 10:21

吴恩达ChatGPT《Finetuning Large Language Models》笔记

课程地址：https://learn.deeplearning.ai/finetuning-large-language-models/lesson/1/introductionIntroduction

datamonday·2023-09-18 08:49

推荐频道

TUNING】