embedding微调

Tutte嵌入算法【网格参数化】

在几何处理中，Tutte嵌入也称为重心嵌入（barycentricembedding），可以通过将网格的边界顶点固定在某个凸多边形上，并与凸多边形边界内部的内部顶点构建无交叉的直线嵌入来进行网格参数化。
新缸中之脑·2024-01-13 07:42

书生·浦语大模型实战营-学习笔记1

目录书生·浦语大模型全链路开源体系数据集预训练微调评测部署多智能体视频地址：(1)书生·浦语大模型全链路开源体系开源工具github：https://github.com/InternLM/InternLM
Kinno酱·2024-01-13 07:37

domain adapation

使用sourcedata训练一个模型，然后使用targetdata微调该模型。注
闪闪发亮的小星星·2024-01-13 06:46

使用 EmbeddingBag 和 Embedding 完成词嵌入

参考文章：365天深度学习训练营\n原作者：[K同学啊|接辅导、项目定制]\n文章来源：[K同学的学习圈子](https://www.yuque.com/mingtian-fkmxf/zxwb45)使用EmbeddingBag
风筝超冷·2024-01-13 06:14

P122 神经网络压缩Network compression-purning

在边缘设备上跑时，模型太大，跑不动、purn:删减删减以后，正确率有影响会下降为解决这个问题，进行微调，每次只减一点参数，重复多次。使得最后修剪后的模型跟原来的模型差别不大。
闪闪发亮的小星星·2024-01-13 06:07

Pytorch的默认初始化分布 nn.Embedding.weight初始化分布

一、nn.Embedding.weight初始化分布nn.Embedding.weight随机初始化方式是标准正态分布，即均值$\mu=0$，方差$\sigma=1$的正态分布。
不当菜鸡的程序媛·2024-01-13 04:04

关于lora的理解

参考：【OpenLLM007】大模型炼丹术之小参数撬动大模型-万字长文全面解读PEFT参数高效微调技术-知乎(zhihu.com)图解大模型微调系列之：大模型低秩适配器LoRA（原理篇）-知乎(zhihu.com
wozwdaqian·2024-01-13 04:39

通义千问Qwen-72B-Chat基于PAI的低代码微调部署实践

作者：熊兮、求伯、一耘引言通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型。Qwen-72B的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手。阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台，提供AI开发全链路服务。快速开
阿里云大数据AI技术·2024-01-13 03:52

Mixtral 8X7B MoE模型基于PAI的微调部署实践

是面向开发者和企业的机器学习/深度学习平台，提供了对于Mixtral8x7B模型的全面支持，开发者和企业用户可以基于PAI-快速开始（PAI-QuickStart）轻松完成Mixtral8x7B模型的微调和部署
阿里云大数据AI技术·2024-01-13 03:50

实战案例：chatglm3 基础模型多轮对话微调

chatglm3发布了，这次还发了base版本的模型，意味着我们可以基于这个base模型去自由地做SFT了。本项目实现了基于base模型的SFT。base模型https://huggingface.co/THUDM/chatglm3-6b-base由于模型较大，建议离线下载后放在代码目录，以"./chatglm3-6b-base"的路径进行调用。技术交流群前沿技术资讯、算法交流、求职内推、算法竞赛
机器学习社区·2024-01-13 02:46

这应该是最全的大模型训练与微调关键技术梳理

是否希望深入探索LLaMA、ChatGLM等模型的微调技术，进一步优化参数和使用不同微调方式？现在我带大家领略大模型训练与微调进阶之路，拓展您的技术边界！
机器学习社区·2024-01-13 02:46

达摩研究院Paraformer-large模型已支持windows

FunASR提供了便捷的脚本和教程，支持预训练好的模型的推理与微调。FunASR开源了大量在工业数据上预训练模型，用户可以在模型许可协议下自由使用、复制、修改和分享FunASR模型。
AI 研习所·2024-01-13 01:14

Transformer 是拥抱数据不确定性的艺术

Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现；基于Transformer各种模型变种及实践也都是基于Bayesian思想指导下来应对数据的不确定性；混合使用各种类型的Embeddings
孙庚辛·2024-01-13 00:38

大模型PEFT技术原理（一）：BitFit、Prefix Tuning、Prompt Tuning

随着预训练模型的参数越来越大，尤其是175B参数大小的GPT3发布以来，让很多中小公司和个人研究员对于大模型的全量微调望而却步，近年来研究者们提出了各种各样的参数高效迁移学习方法（Parameter-efficientTransferLearning
wshzd·2024-01-13 00:29

LLM之长度外推（二）| Self-Extend：无需微调的自扩展大模型上下文窗口

论文链接：https://simg.baai.ac.cn/paperfile/a34ae7f4-f0ce-4f8f-b8f2-e8e4d84bbee5.pdf目前大模型基本都采用transformer结构，而transformer中attention机制的计算复杂度与序列长度呈平方关系，因此大模型在训练时候通常会设置固定的上下文窗口，而且也不会太大，比如GPT-4支持32K上下文，但这会限制大模型
wshzd·2024-01-13 00:28

大模型关于Lora论文集合

EfficientFine-tuningofLanguageModelsviaResidualLearning》ChainofLoRA(COLA)，这是一种受Frank-Wolfe算法启发的迭代优化框架，旨在弥合LoRA和全参数微调之间的差距
致Great·2024-01-13 00:48

从Hugging Face上手动下载并加载预训练模型

0.说明：从HuggingFace上下手动载预训练的蛋白质语言模型（以ProstT5为例），用模型中的encoder部分对蛋白质进行编码，得到embeddingfeatures，用于下游的任务。
@ZyuanZhang·2024-01-12 21:41

LangChain+glm3原理解析及本地知识库部署搭建

前期准备：在部署LangChain之前，需要先下载chatglm3模型，如何下载可以查看我的上一篇文章chatglm3本地部署本地知识库和微调的区别：知识库是使用向量数据库存储数据，可以外挂，作为LLM
牛像话·2024-01-12 19:29

跟着美食去旅行——马来西亚美食

马来西亚珍多冰，是一种以椰酱、绿色细面条和椰糖做成的美味刨冰，在酷热的天气下吃一碗，格外消暑椰浆饭是一道传统的马来西亚经典菜肴，得名于其烹饪方法，就是用椰浆烹煮米饭，再加上香兰叶略微调整，为米饭赋予扑鼻的清香沙爹肉串是马来西亚的传统美食
吃喝玩乐吧·2024-01-12 18:09

语境化语言表示模型-ELMO、BERT、GPT、XLnet

以下是一些著名的语境化语言表示模型：ELMo（EmbeddingsfromLanguageModel
Algorithm_Engineer_·2024-01-12 18:18

用通俗易懂的方式讲解：对 embedding 模型进行微调，我的大模型召回效果提升了太多了

在外挂知识库的过程中，embedding模型的召回效果直接影响到大模型的回答效果，因此，在许多场景下，我们都需要微调我们的embedding模型来提高我们的召回效果。
Python算法实战·2024-01-12 17:30

评估LLM在细胞数据上的实用性(2)-细胞层面的评估

微调阶段
tzc_fly·2024-01-12 17:27

羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读

论文地址：https://arxiv.org/pdf/2307.09288.pdfd代码地址：GitHub-facebookresearch/llama-recipes:ExamplesandrecipesforLlama2model问答用了多少个gpu？这篇文档中使用了3.3MGPU小时的计算，使用的硬件类型是A100-80GB，可以扩展到2000个GPU，但这些计算的功耗估计并不包括互连或非G
andeyeluguo·2024-01-12 17:59

Qt QSpinBox微调框控件

文章目录1属性和方法1.1值1.2步长1.3循环1.4加速1.5前缀和后缀1.6信号和槽2实例2.1布局2.2代码实现微调框，允许用户按照一定的步长，来增加或减少其中显示的数值修改微调框数值的方式包括：
theRavensea·2024-01-12 16:44

Fluter编译问题：Could not find io.flutter:arm64_v8a_debug

遇到的编译问题：Couldnotfindio.flutter:flutter_embedding_debugCouldnotfindio.flutter:arm64_v8a_debugCouldnotfindio.flutter
Steve_XiaoHai·2024-01-12 15:49

word2vec中的CBOW和Skip-gram

word2cev简单介绍Word2Vec是一种用于学习词嵌入（wordembeddings）的技术，旨在将单词映射到具有语义关联的连续向量空间。
Algorithm_Engineer_·2024-01-12 12:21

工智能基础知识总结--词嵌入之Word2Vec

词嵌入要解决什么问题在自然语言系统中，词被看作最为基本的单元，如何将词进行向量化表示是一个很基本的问题，词嵌入（wordembedding）就是把词映射为低维实数域向量的技术。
北航程序员小C·2024-01-12 12:13

RAG 详解

RAG还是微调？如何评估RAG？
javastart·2024-01-12 12:07

原创 | 一文读懂ChatGPT中的强化学习

创建者将监督学习和强化学习相结合来微调ChatGPT，强化学
javastart·2024-01-12 12:07

【深度学习：视觉基础模型】视觉基础模型 (VFM) 解释

SegGPTMicrosoft'sVisualChatGPT视觉基础模型的应用视觉基础模型的好处可视化基础模型的挑战与考虑因素解决视觉人工智能中与伦理、公平和偏见相关的问题保护隐私、合规性和数据安全成本管理微调可视
jcfszxc·2024-01-12 09:23

数据驱动下的LLM优化：如何从数据集中发掘最大价值？

来源，公众号：芝士AI吃鱼本文聚焦于通过使用精心策划的数据集对LLM进行微调，以提升其建模性能。具体来说，本文强调了涉及修改、使用或操纵数据集进行基于指令的微调的策略，而不是改变模型架构或训练算法。
wwlsm_zql·2024-01-12 09:50

SinusoidalPositionalEmbedding/tensor2tensor中实现的绝对位置编码

目录代码二、实现代码importtorch.nnasnnimportmathimporttorchfromtypingimportOptional,AnyclassSinusoidalPositionalEmbedding
云帆@·2024-01-12 07:38

GPT Understands, Too

1.介绍传统fine-tune（使用训练数据来微调模型参数），GPT在自然语言理解任务上未能取得很好的效果，关于NLU任务的一种新方法P-tuning，采用可训练的连续的promptembeddings
Tsukinousag·2024-01-12 06:23

大语言模型参数微调过程（附完整代码）

这是一个金融领域大模型微调的具体代码执行过程，具体代码可以详见git仓库。
抓个马尾女孩·2024-01-12 05:23

今日最佳AI论文5篇：高效微调、图生3D、AI Agent、大模型ChatGPT、图学习

本文整理了2023年1月9日发表在ArXiv上的AI论文中最热门的TOP5。论文热度排序、论文标签、中文标题、推荐理由和论文摘要由AI论文推荐智能体赛博马良-AI论文解读达人（saibomaliang.com）提供。如需查看其他最热论文，欢迎移步saibomaliang.com^_^TOP1Dr2Net:DynamicReversibleDual-ResidualNetworksforMemory
夕小瑶·2024-01-12 05:13

【通义千问】大模型Qwen GitHub开源工程学习笔记（5）-- 模型的微调【全参数微调】【LoRA方法】【Q-LoRA方法】

微调
大表哥汽车人·2024-01-12 05:05

pytorch11：模型加载与保存、finetune迁移训练

序列化与反序列化概念1.2pytorch中的序列化与反序列化1.3模型保存的两种方法1.4模型加载两种方法二、断点训练2.1断点保存代码2.2断点恢复代码三、finetune3.1迁移学习3.2模型的迁移学习3.2模型微调步骤
慕溪同学·2024-01-12 03:14

【扩散模型】11、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构

文章目录一、什么是StableDiffusion二、Diffusers库三、微调、引导、条件生成3.1微调3.2引导3.3条件生成四、StableDiffusion4.1以文本为条件生成4.2无分类器的引导
呆呆的猫·2024-01-12 01:13

恋爱多年我却恐婚，现在面前有一瓶，去除恐婚水要不要喝？

有解药，我有什么不敢喝，有解药我有什么逮什么喝这道题是比yesorno复杂的多的题想问一下现场，已婚的劳驾举举手了，本来都是生龙活虎的人，怎么都开始循循善诱了呢（转场说）跟大家一起把视角稍微调换过来导演大人打扰一下怕垮怕丢人
林糖糖·2024-01-12 01:25

Elasticsearch：Search tutorial - 使用 Python 进行搜索 （三）

向量搜索嵌入(embeddings)简介在机器学习中，嵌入是表示现实世界对象（例如单词、句子、图像或视频）的向量（数字数组）。这些嵌入的有趣特性是，表示相似或相关的现实世界实体的两个嵌入
Elastic 中国社区官方博客·2024-01-11 22:58

大模型学习第四课

学习目标：XTuner大模型单卡低成本微调实战学习内容：Finetune简介XTuner介绍8GB显卡玩转LLM动手实战环节学习时间：20240110学习产出：Finetune简介增量预训练微调指令跟随微调
敲键盘的喵桑·2024-01-11 21:38

LORA的基本原理

本文将介绍如下内容：什么是Lora高效微调的基本原理LORA的实现方式LORA为何有效？
TFATS·2024-01-11 19:56

SFT会改善LLM性能，RLHF可能会损害性能

SFT（StructuredFine-Tuning）是一种模型优化技术，它通过在预训练的语言模型上进行有针对性的微调，以适应特定任务或领域。
小草cys·2024-01-11 19:26

节省时间：AI 模型靠谱下载方案汇总

尤其是，需要折腾到本地或者国内服务器上对模型进行后续的微调的时候，首先需要完成模型的
soulteary·2024-01-11 18:57

一次QLoRA微调实践

本文作者使用一种名为QLoRA的方法，通过量化和LoRA技术对MoE模型Mixtral-8x7B进行微调，以期大幅提高其性
Baihai IDP·2024-01-11 18:15

误会是这样产生的

我因为被案主的情绪感染，危娜老师给我作了微调，之后，危娜老师问：‘行医第一要素是什么？’坐在我左手边的小伙伴说：‘自己不能被感染。’危娜老师说：‘自己不能被感染，对，行医第一要素是注意安全。’
紫玉米·2024-01-11 18:52

RAG：让大语言模型拥有特定的专属知识

本文就来介绍一下RAG的技术原理，并和Fine-tuning（微调）进行对比，同
博文视点·2024-01-11 15:52

02.构建和使用的大型语言模型（LLMs）阶段

此外，它还为我们提供了必要的知识，可以保留或微调现有的开源LLM架构，以适应我们自己的特定领域的数据集或任务。
这就是编程·2024-01-11 14:26

从零开始复现BERT，并进行预训练和微调

从零开始复现BERT代码地址：https://gitee.com/guojialiang2023/bert模型BERT是一种基于Transformer架构的大型预训练模型，它通过学习大量文本数据来理解语言的深层次结构和含义，从而在各种NLP任务中实现卓越的性能。核心的BERTModel类集成了模型的主体架构。它首先利用BERTEncoder编码器来处理输入的文本。这个编码器由多个Transform
青云遮夜雨·2024-01-11 11:28

ChatGLM多轮对话微调-多轮对话训练数据的自动生成（标注）

通常使用大模型进行业务数据微调的时候，需要对历史对话数据进行细粒度的整理，比如：1-3轮对话数据的微调，以便模型能够学会多轮对话。
wxl781227·2024-01-11 10:45
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他