embedding微调

LORA概述: 大语言模型的低阶适应

大语言模型的低阶适应LORA:大语言模型的低阶适应前言摘要论文十问实验RoBERTaDeBERTaGPT-2GPT-3结论代码调用LORA:大语言模型的低阶适应前言LoRA的核心思想在于优化预训练语言模型的微调过程
江小皮不皮·2023-12-02 17:46

技术SEO的基础知识和 10 个最佳实践

做技术搜索引擎优化需要对网站的具体细节进行微调，以提
SEO_juper·2023-12-02 16:00

微软Azure AI新增Phi、Jais等，40种新大模型

开发人员只需要通过API或SDK就能快速将模型集成在应用程序中，同时支持数据微调、指令优化等量身定制功能。此外，开发人员可通过关键字搜索，在AzureAI的“模型超市”中迅速找到适合自
RPA中国·2023-12-02 11:33

早起第48

闹钟5点50响了，马上起床，整理自己喝杯水，打开链接，开始跟着老师冥想跟着引导词，我的意识一直在数呼吸，观察我呼吸的声音，微微调整一下坐姿，继续集中意识，观呼吸意识集中在，鼻尖到人中之间，迷迷糊糊的，灰蒙蒙的
阿翠·2023-12-02 11:13

[AI] 在 huggingface transformers新增自定义token

在大多数情况下，您不会从头开始训练一个大型语言模型，而是在新数据上微调现有模型。通常，新数据集和自然语言任务使用新的或不同的领域特定词汇。例如，法律或医疗文件。
AlgorithmWillBeFine·2023-12-02 10:35

更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%...

而且这种机制不需要微调或训练，只靠Prompt就能让大模型的准确率上升27%。
QbitAl·2023-12-02 10:28

味闻漫悟烈酒入门课程——第10队 第60号 干货！居家美味鸡尾酒的通关公式

根据口味的不同，细微调整配料的变化，便会有不一样的体
SNRH·2023-12-02 09:01

清华提出 SoRA，参数量只有 LoRA 的 70%，表现更好！

现在有很多关于大型语言模型（LLM）的研究，都围绕着如何高效微调展开。微调是利用模型在大规模通用数据上学到的知识，通过有针对性的小规模下游任务数据，使模型更好地适应具体任务的训练方法。
夕小瑶·2023-12-02 07:34

paddle ocr开启mkldnn加速后图片识别精度下降

背景使用ocr_system调用微调模型时发现部分图片在设置enable_mkldnn=True后出现识别精度下降问题环境：paddle==2.5.1paddlehub==2.3.1python==3.8.6
小小晓晓阳·2023-12-02 05:24

2022-10-28

这是一本实操性极强的行动指南，作者从每个人都会遇到的问题入手，带我们通过对生活的细微调整，实现人生的巨大飞跃。帮助我们养成好习惯、戒掉坏习惯，最终过上自己想要的生活。
218dc61b1a9c·2023-12-02 05:23

在Transformer模型中， Positional Encoding的破坏性分析

在Transformer模型中，WordEmbedding被加上一个PositionalEncoding，是否会破坏原来的WordEmbedding的含义SinusoidalPositionalEncoding
子燕若水·2023-12-02 03:54

吴恩达《ChatGPT Prompt Engineering for Developers》学习笔记

1引言总的来说，当前有两类大语言模型（LLM）：「基础LLM」和「指令微调LLM」。基础LLM基于大量文本数据训练而成，核心思想为预测一句话的下一个单词（即词语接龙）。
stay_foolish12·2023-12-02 02:50

大模型的实践应用10-大模型领域知识与参数高效微调(PEFT)技术的详解，并利用PEFT训练自己的大模型

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用10-大模型领域知识与参数高效微调(PEFT)技术的详解，并利用PEFT训练自己的大模型。
微学AI·2023-12-02 00:33

Embedding压缩之hash embedding

&FiBiNet++模型、CTR特征建模：ContextNet&MaskNet中，阐述了特征建模的重要性，并且介绍了一些微博在特征建模方面的研究实践，再次以下面这张图引出今天的主题：在推荐系统中，特征Embedding
我就算饿死也不做程序员·2023-12-01 23:59

基于P-Tuning v2微调ChatGLM2-6B的操作步骤（环境已设置好）

1.P-Tuningv2结2.具体操作步骤如下：步骤1.sourceactivate（condaenvlist）condaactivatetorch1.13pipinstallrouge_chinesenltkjiebadatasetscondaactivatechatglm2-6b步骤2.gitclonehttps://github.com/THUDM/ChatGLM2-6B步骤3.cdChat
zrdsunshine·2023-12-01 22:20

Luminar Neo 教程，如何在 Luminar Neo 中使用裁切工具？

如果需要，可以手动微调生成的合成的任何方面。裁qie工具可以随时应用、编辑或重置，而不会影响图像。裁切工具设置不与预设一起保存。
Mac123123·2023-12-01 22:01

[读论文]meshGPT

face按规定的顺序；每个face用三个顶点的坐标表示LearningQuantizedTriangleEmbeddings（一个autoencoder）mesh表示为trianglef
YuQiao0303·2023-12-01 21:06

Bert模型预测时出现的问题:ValueError: Assignment map with scope only name bert/embeddings/layer_normalization s

解决方法：将modeling.py文件中的assignment_map[name]=name改为assignment_map[name]=name_to_variable[name]即可
zzz学术萌新·2023-12-01 20:49

yolov8 原木识别模型

一、模型介绍模型基于yolov8数据集采用SKU-110k，这数据集太大了十几个G，所以只训练了10轮左右就拿来微调了原木数据微调：纯手工标注200张左右原木图片，训练20轮的效果PS：因为训练时间比较长
GA666666·2023-12-01 17:39

Yolov8实现瓶盖正反面检测

一、模型介绍模型基于yolov8n数据集采用SKU-110k，这数据集太大了十几个G，所以只训练了10轮左右就拿来微调了基于原木数据微调：训练200轮的效果10轮SKU-110k+20轮原木+200轮瓶盖正反面微调模型下载地址
GA666666·2023-12-01 17:59

iOS微信更新

比如这次微信就对朋友圈的显示进行了微调，不仅添加照片的相机图标变小了，原来只能展示4张照片缩略图，现在变成了可以显示9张照片
liu7322·2023-12-01 15:43

NeRF基础代码解析

embedders对position和viewdirection做embedding。
平丘月初·2023-12-01 15:35

torch常用和预期输入输出

NormalizationBatchNormBatchNorm1dBatchNorm2dBatchNorm3dInstanceNormInstanceNorm2dLayerNormGroupNormpool平均池化avg_pool2dAvgPool2d自适应平均池化adaptive_avg_pool2dAdaptiveAvgPool2dEmbedding
平丘月初·2023-12-01 15:53

Centos7 NTP时钟同步配置

Centos7NTP时钟同步配置NTP在Linux下有两种时钟同步方式：直接同步(也称跳跃同步)和平滑同步(也称微调同步)。直接同步使用ntpdate命令进行同步，直接进行时间变更。
sunny05296·2023-12-01 14:52

【论文分享】2024AAAI顶会论文分享---Multilevel Semantic Embedding of Software Patches: A Fine-to-Coarse Grained A

随着对开源软件的日益依赖，用户面临着第三方库漏洞的威胁。软件成分分析(SCA)工具已被创建来提醒用户此类漏洞。SCA需要识别漏洞修复提交。先前的工作已经提出了可以自动识别此类漏洞修复提交的方法。然而，识别此类提交非常具有挑战性，因为只有极少数提交修复了漏洞。此外，代码更改可能会产生噪音并且难以分析。我们观察到噪声可能会出现在不同的细节级别，这使得准确检测漏洞修复变得具有挑战性。为了应对这些挑战并提
gezigezao·2023-12-01 14:14

用干衣上OW课是什么体验.......?

浮力控制=>干衣需要充排气，所以要同时考虑BC和干衣里面的气量，再利用肺来微调。
阿拉灯神丁丁·2023-12-01 13:42

论文学习-Word Embedding and Word2Vec

Word2VecLeaningnoteLearningNaturalLanguageprocessingissoabstract.But,fortunately,therearesomevideosonYouTubethatexplainitclearly.SoItakesomeimagesforanote.Bytheway,iwantwritethisnotetomyblogactually,b
老叭美食家·2023-12-01 12:32

论文学习-Bert 和GPT 有什么区别？

FoundationModels,Transformers,BERTandGPT总结一下：Bert是学习向量表征，让句子中某个词的Embedding关联到句子中其他重要词。
老叭美食家·2023-12-01 12:28

正则表达式（Regular Exprerssion）in Python

之前帮一位朋友面大模型微调实习岗位的时候，人家面试官考到了正则表达式，感觉这块知识还是挺重要的，所以浅浅的学习一下，每个小部分的代码在后面目录0.先从一个案例入手（提取文本中的电子邮件地址）代码实现：1
编程被我拿捏住了·2023-12-01 10:16

Diffusion微调报错：RuntimeError: One of the differentiated Tensors does not require grad

最近在开展DiffusionModel模型微调的相关工作时，设置微调层后反传梯度多次遇到以下报错RuntimeError:OneofthedifferentiatedTensorsdoesnotrequiregrad
阳光素描·2023-12-01 09:56

pytorch使用LSTM和GRU

torch.nn.LSTM(input_size,hidden_size,num_layers,batch_first,dropout,bidirectional)input_size：输入数据的形状，即embedding_dimhidden_size
bazinga014·2023-12-01 06:58

AIGC: 关于ChatGPT中的API调用模型

可以理解自然语言并生成代码GPT3.5免费的GPT模型，基于3.0改进，可以理解自然语言并生成代码DALL·E可以在给定自然语言提示的情况下生成和编辑图像的模型Whisper一种可以将音频转换为文本的模型Embeddings
Wang's Blog·2023-12-01 05:14

LangChain+LLM实战---文本分块(Chunking)方法

这个流程依然无法描述RAG的复杂性RAG涉及的内容其实广泛，包括Embedding、分词分块、检索召回（相似度匹配）、chat系统、ReAct和Prompt优化等，最后还有与LLM的交互，整个过程技术复杂度很高
lichunericli·2023-12-01 04:43

KOSMOS-G-图像文本结合控制生成

文章目录摘要引言算法多模态语言建模图像解码器对齐微调instruction实验结论论文：《Kosmos-G:GeneratingImagesinContextwithMultimodalLargeLanguageModels
‘Atlas’·2023-12-01 04:08

如何理解self attention中的QKV矩阵

如何理解selfattention中的QKV矩阵疑问：三个矩阵的形状是一样的（embd_dim*embd_dim），作用也都是对输入句子的embedding做线性变换（tf.matmul(Q,input_value
算法有点趣·2023-11-30 23:00

时间序列预测(9) — Informer源码详解与运行

1.1文件结构1.2mian_informer.py文件1.3模型训练1.4模型测试1.5模型预测2Informer模型2.1process_one_batch2.2Informer函数2.3DataEmbedding
几度春风里·2023-11-30 23:05

万字长文——这次彻底了解LLM大语言模型

文章目录前言一、浅析语言模型中的核心概念1.1分词：1.2词向量：1.3神经概率语言模型二、大语言模型发展历程三、LLM基本结构3.1预训练阶段工作步骤3.2预训练阶段模型结构3.3Fine-tuning（微调
MonsterQy·2023-11-30 19:54

【ChatGLM3-6B】Docker下部署及微调

Docker基于镜像中网盘上上传的有已经做好的镜像，想要便捷使用的可以直接从Docker基于镜像安装看Docker从0安装前提下载启动访问Docker基于镜像安装容器打包操作（生成镜像时使用的命令）安装时命令微调前提微调和验证文件准备微调和验证文件格式转换修改微调脚本执行微调微调完成结果推理验证报错解决出现了
老司机张师傅·2023-11-30 17:17

如何在自定义数据集上训练 YOLOv8 实例分割模型

在本文中，我们将介绍微调YOLOv8-seg预训练模型的过程，以提高其在特定目标类别上的准确性。IkomiaAPI简化了计算机视觉工作流的开发过程，允许轻松尝试不同的参数以达到最佳结果。
小北的北·2023-11-30 15:11

读书目录——2023年

好在第二部分的反抗还算痛快淋漓，稍微调剂了一下阴郁的氛围。3、2023-1-15封神演义-许仲琳我似乎偏爱神怪小说，远离事
tiyamo·2023-11-30 13:11

读书目录——2023年

好在第二部分的反抗还算痛快淋漓，稍微调剂了一下阴郁的氛围。3、2023-1-15封神演义-许仲琳我似乎偏爱神怪小说，远离事
tiyamo·2023-11-30 13:11

机器学习：领域自适应学习

DomainShift有多种多样的domainshift分布频次不一样标签不一致这里只考虑分布不一样有标注的数据量，但比较少，可以通过微调的方式进行
uncle_ll·2023-11-30 09:34

大模型的实践应用8-利用PEFT和LoRa技术微调大模型(LLM)的原理介绍与指南

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用8-利用PEFT和LoRa技术微调大模型(LLM)的原理介绍与指南，2023年是大语言模型爆发的元年，在我国大语言模型分布就有上百种，随着人工智能技术的不断发展
微学AI·2023-11-30 09:28

大模型的实践应用9-利用LoRA方法在单个GPU上微调FLAN-T5模型的过程讲解与实现

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用9-利用LoRA方法在单个GPU上微调FLAN-T5模型的过程讲解与实现，文本我们将向您展示如何应用大型语言模型的低秩适应(LoRA)在单个GPU
微学AI·2023-11-30 09:28

自然语言处理N天-AllenNLP学习（设定文档解读）

去除停用词，建立词典，加载各种预训练词向量，Sentence->WordID->WordEmbedding的过程(TobiasLee：文本预处理方法小记)，其中不仅需要学
我的昵称违规了·2023-11-30 08:08

Docker安装Elasticsearch以及ik分词器

作为ElasticStack的核心，Elasticsearch会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。
FLY-DUCK·2023-11-30 08:23

大语言模型调研汇总

和其他大模型一样，LaMDA分为预训练和微调两步，在微调阶段，生成式
热爱文学的码农·2023-11-30 02:36

48个代码大模型汇总，涵盖原始、改进、专用、微调4大类

代码大模型具有强大的表达能力和复杂性，可以处理各种自然语言任务，包括文本分类、问答、对话等。这些模型通常基于深度学习架构，如Transformer，并使用预训练目标（如语言建模）进行训练。在对大量代码数据的学习和训练过程中，代码大模型能够提升代码编写的效率和质量，辅助代码理解和决策，在代码生成、代码补全、代码解释、代码纠错以及单元测试等任务中都表现出十分出色的能力。为了帮大家深入掌握代码大模型的发
深度之眼·2023-11-30 02:33

EMA训练微调

就是取前几个epoch的weight的平均值，可以缓解微调时的灾难性遗忘（因为新数据引导，模型权重逐渐，偏离训练时学到的数据分布，忘记之前学好的先验知识）classEMA():def__init__(self
Yuezero_·2023-11-29 23:14

从零详细地梳理一个完整的 LLM 训练流程

当前，不少工作选择在一个较强的基座模型上进行微调，且通常效果不错（如：[alpaca]、[vicuna]等）。
大数据AI人工智能培训专家培训讲师叶梓·2023-11-29 22:23
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他