embedding微调第2页

AI语言模型的技术之争：DeepSeek与ChatGPT的架构与训练揭秘

DeepSeek与ChatGPT的基础概述1.1DeepSeek简介1.2ChatGPT简介第二章：模型架构对比2.1Transformer架构：核心相似性2.2模型规模与参数第三章：训练方法与技术3.1预训练与微调

m0_74825466·2025-03-06 06:29

大模型（LLM）的若干科普之问（七）：如何隔离LLM微调结果？

一、微调大模型LLM的微调是指在预训练好的大型语言模型基础上，通过特定任务的数据进行进一步训练，以提升模型在该任务上的性能。

人工干智能·2025-03-06 04:12

X-LoRA：高效微调 LoRA 系列，实现不同领域知识专家混合模型

文献卡X-LoRA:MixtureofLow-RankAdapterExperts,aFlexibleFrameworkforLargeLanguageModelswithApplicationsinProteinMechanicsandMolecularDesign作者:EricL.Buehler;MarkusJ.BuehlerDOI:10.48550/arXiv.2402.07148摘要:We

yumuing blog·2025-03-05 22:22

Qt常用控件之日期微调框QDateTimeEdit

日期微调框QDateTimeEditQDateTimeEdit是一个日期微调框控件，它可以选择年月日和时分。Qt中还有QDateEdit只能微调年月日的控件和QTimeEdit只能微调时分的控件。

laimaxgg·2025-03-05 19:06

词向量Word Embedding

词向量词向量做的事情就是将词表中的单词映射为实数向量。one-hot编码one-hot对每个词进行编号，假设词表的长度为n，则对于每一个词的表征向量均为一个n维向量，且只在其对应位置上的值为1，其他位置都是0。问题：1.有序性问题：它无法反映文本的有序性。2.语义鸿沟：其无法通过词向量来衡量相关词之间的距离关系，无法反映词之间的相似程度。3.维度灾难：高维情形下将导致数据样本稀疏，距离计算困难，这

m0_60217276·2025-03-05 09:01

词向量（Word Embedding）

词向量（WordEmbedding）是一种将自然语言中的单词映射到连续的向量空间的技术，使得语义相似的单词在向量空间中彼此接近。

呵呵，不解释868·2025-03-05 08:27

【大模型开源实战】10 分钟,教你如何用 LLama-Factory 训练和微调大模型

在这个AI快速发展的时代，我们很高兴为大家带来LlamaFactory-一个为AI开发者和爱好者量身打造的实用工具平台。作为非计算机专业出身的开发者，我们深深受益于计算机世界的开放共享精神。今天，我们希望通过LlamaFactory为这个社区贡献我们的一份力量。LlamaFactory能为您提供什么？英文文档的AI翻译：利用大语言模型将英文文档翻译成中文，助您更便捷地获取最新技术信息。快速获取主流

Langchain·2025-03-05 06:40

预训练模型微调与下游任务迁移学习技术

而对预训练模型进行有效的微调,可以充分利用预训练知识,在有限数据上快速达到出色的性能。此外,迁移学习技术也为模型在不同任务间的知识复用提供了有效途径。本文将详细介绍预训练模型微调与下游任务迁移学习

AGI大模型与大数据研究院·2025-03-04 22:37

微调（Fine-tuning）

微调（Fine-tuning）是自然语言处理（NLP）和深度学习中的一种常见技术，用于将预训练模型（Pre-trainedModel）适配到特定任务上。

路野yue·2025-03-04 20:49

大模型应用开发简易指南：Git教程助力亲自动手微调大型模型

LLM正逐步成为信息世界的新革命力量，其通过强大的自然语言理解、自然语言生成能力，为开发者提供了新的、更强大的应用开发选择。随着国内外井喷式的LLMAPI服务开放，如何基于LLMAPI快速、便捷地开发具备更强能力、集成LLM的应用，开始成为开发者的一项重要技能。前排提示，文末有大模型AGI-CSDN独家资料包哦！目前，关于LLM的介绍以及零散的LLM开发技能课程已有不少，但质量参差不齐，且没有很好

大模型官方资料·2025-03-04 19:11

Helix 是开源的私有 GenAI 堆栈，用于构建具有声明性管道、知识（RAG）、API 绑定和一流测试的 AI 应用程序。

包括对RAG、API调用和微调模型的支持，就像拖放一样简单。通过编写helix.yaml来构建和部署LLM应用程序。正在寻找私人GenAI平台？

2301_78755287·2025-03-04 13:50

SFT与RLHF的关系

在大模型训练中，SFT（监督微调）和RLHF（基于人类反馈的强化学习）是相互关联但目标不同的两个阶段，通常需要结合使用以优化模型性能，而非互相替代。

一只积极向上的小咸鱼·2025-03-04 11:12

微调DeepSeek-R1打造SQL语言转自然语言大模型！小白也能十分钟打造自己的推理大模型！unsloth+Colab+DeepSeek-R1-Distill-Llama-8B轻松上手

本篇笔记所对应的视频：微调DeepSeek-R1打造SQL语言转自然语言大模型！小白也能十分钟打造自己的推理大模型！

AI超元域·2025-03-04 07:08

大模型开发和微调工具Llama-Factory--＞WebUI

WebUILLaMA-Factory支持通过WebUI零代码微调大模型。

m0_74823705·2025-03-04 05:56

Word2Vec的使用，一些思考，含示例——包括使用预训练Word2Vec模型和自训练Word2Vec模型

词嵌入模型（WordEmbeddings）——Word2Vec简介：Word2Vec是由Google团队提出的一种词嵌入方法，通过神经网络模型将词语映射到一个低维的连续向量空间中。

热爱生活的猴子·2025-03-04 03:13

DeepSeek-R1：通过强化学习激励大型语言模型的推理能力

DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练而成的模型，无需监督微调（SFT）作为初步步骤，展示了卓越的推理能力。

AI专题精讲·2025-03-03 22:05

Llama 3.2入门基础教程（非常详细），Llama 3.2微调、部署以及多模态训练入门到精通，收藏这一篇就够了！

9月25日Meta发布了Llama3.2，包括11B和90B的视觉语言模型。前排提示，文末有大模型AGI-CSDN独家资料包哦！Llama3技术剖析与部署相较于Llama2，Llama3的改变其实并不是太大。Tokenizer变成了128K的词表，使用了GQA，不在是原来的只在Llama2-70B里使用了。所以说，最大的改变就是词表与GQA。然后在训练上变化比较大，参数变大了，400B的还没放出来

中年猿人·2025-03-03 17:49

【硬核教程】DeepSeek 70B模型微调实战：打造工业级AI开发专家（附完整代码+案例）

直击工业软件开发6大痛点：代码规范、性能优化、多约束条件处理等难题一次性解决显存消耗降低90%：4×A100全参数微调显存需求从320GB→32GB，中小企业也能玩转大模型实战案例全覆盖：包含PLC代码生成

爱吃青菜的大力水手·2025-03-03 11:06

NLP自然语言处理：文本表示总结 - 上篇word embedding（基于降维、基于聚类、CBOW 、Skip-gram、 NNLM 、TF-ID、GloVe ）

文本表示分类（基于表示方法）离散表示one-hot表示词袋模型与TF-ID分布式表示基于矩阵的表示方法降维的方法聚类的方法基于神经网络的表示方法NNLMCBOWSkip-gramGloVeELMoGPTBERT目录一、文本离散表示1.1文本离散表示：one-hot1.2文本离散表示：词袋模型与TF-IDF1.2.1词袋模型（bagofwords）1.2.2对词袋模型的改进：TF-IDF二、文本分布

陈宸-研究僧·2025-03-03 10:26

【Elasticsearch】一文读懂ES向量搜索：原理剖析与技术全景

如：文本嵌入(Embedding)：BERT等模型生成768维向量图像特征：ResNet提取2048维特征向量1.2向量搜索简介向量

程序员大任·2025-03-03 03:34

llama_factory微调QWen1.5

GitHub-hiyouga/LLaMA-Factory:UnifyEfficientFine-Tuningof100+LLMsUnifyEfficientFine-Tuningof100+LLMs.Contributetohiyouga/LLaMA-FactorydevelopmentbycreatinganaccountonGitHub.https://github.com/hiyouga/L

Kun Li·2025-03-03 02:50

【AI大模型】Transformers大模型库（九）：大模型微调之计算微调参数占比

目录一、引言二、计算微调参数占比2.1概述2.2模型参数结构一览2.3微调参数占比计算三、总结一、引言这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测

LDG_AGI·2025-03-03 01:45

大模型微调入门（Transformers + Pytorch）

目标输入：你是谁？输出：我们预训练的名字。训练为了性能好下载小参数模型，普通机器都能运行。下载模型#方式1：使用魔搭社区SDK下载#down_deepseek.pyfrommodelscopeimportsnapshot_downloadmodel_dir=snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B')#方式2：gitl

昵称不能为null·2025-03-03 00:06

微调DeepSeek-R1-Distill-Llama-8B打造sql2text大模型！小白也能十分钟打造自己的推理大模型！unsloth+Colab轻松上手

简介：DeepSeek-R1-Distill-Llama-8B是一个基于Llama架构的8B参数语言模型，经过深度蒸馏（distillation）处理，旨在提高推理效率和精度。通过蒸馏技术，模型在保持较高性能的同时，减少了计算资源的消耗，特别适合在资源受限的环境中应用。该模型经过优化，可用于多种自然语言处理任务，如文本生成、情感分析、问答系统等。DeepSeek-R1-Distill-Llama-

X.Cristiano·2025-03-02 23:28

Transformer 代码剖析7 - 词元嵌入(TokenEmbedding) （pytorch实现）

author:Hyunwoong@when:2019-10-22@homepage:https://github.com/gusdnd852"""fromtorchimportnnclassTokenEmbedding

lczdyx·2025-03-02 22:50

OpenAI API教程

本文将首先介绍OpenAIAPI基础知识和模型，然后以ChatCompletionsAPI和EmbeddingAPI为例子介绍OpenAIAPI的用法。

Jachin Huang·2025-03-02 16:41

【AI带来的机遇】

类比房地产黄金期中介赚取信息差、移动互联网初期应用商店分发红利，当前AI领域存在三大核心机遇：基础设施重构机遇（类比域名投资）AI大模型开源浪潮下，高质量训练数据资产、特定领域微调模型、模型中间件将成为新时代

调皮的芋头·2025-03-02 11:18

模型优化之强化学习（RL）与监督微调（SFT）的区别和联系

强化学习（RL）与监督微调（SFT）是机器学习中两种重要的模型优化方法，它们在目标、数据依赖、应用场景及实现方式上既有联系又有区别。

搏博·2025-03-02 10:08

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[6]-实现Milvus向量检索+实现自定义关键词调整Embedding模型

基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[6]-实现Milvus向量检索+实现自定义关键词调整Embedding模型0.Milvus与Faiss对比Milvus相对于Faiss

汀、人工智能·2025-03-01 23:44

2.4K star的GOT-OCR2.0：端到端OCR 模型

产品功能及特点多语言支持：GOT-OCR2.0主要支持中文和英文字符识别，并能够通过进一步的微调扩展到更多语言。这种灵活性使其适用于国际化应用，满足不同

AI 研习所·2025-03-01 17:34

大模型训练与微调（4）——Top-k 和 Top-p 采样策略介绍

大模型训练与微调（4）——Top-k和Top-p采样策略介绍**一、Top-k采样****1.核心思想****2.数学实现****3.示例****4.特点****二、Top-p（Nucleus）采样**

John_今天务必休息一天·2025-03-01 12:33

全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）

全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）目录顺序如下国内外，垂直领域大模型Agent和指令微调等训练框架开源指令，预训练，rlhf，对话，agent训练数据梳理

代码讲故事·2025-03-01 07:54

BERT模型深入理解——自然语言处理的里程碑

BERT创新性地使用预训练+微调模式，先用预训练在大量无标注的语料中进行自监督学习，学习到语言的通用规律，然后在少量有标注的数据中进行有监督学习，适配更精细化的任务。这种模式一直影响到最新的大模型结

cufewxy2018·2025-03-01 06:47

Transformer 代码剖析8 - 编码器模块Encoder （pytorch实现）

一、代码结构总览TransformerEncoder__init__初始化Encoder类forward前向传播super()父类初始化构建词嵌入层self.emb=TransformerEmbedding

lczdyx·2025-03-01 04:26

如何使用Anyscale平台运行、微调和扩展大语言模型(LLMs)

Anyscale是一个功能强大的平台，主要用于运行、微调和扩展大语言模型(LLMs)，并且通过生产就绪的API提供成本效益的调用服务。

eahba·2025-03-01 03:49

谁说消费级硬件不能玩 DeepSeek - R1 微调？手把手教你进阶AI玩家

微调像DeepSeek-R1这样的大规模人工智能模型可能需要大量资源，但借助正确的工具，在消费级硬件上进行高效训练是可行的。

硅基创想家·2025-02-28 22:51

第九章 Spring AI API中文版 - Ollama Embeddings API

SpringAI通过OllamaEmbeddingClient支持Ollama文本嵌入。嵌入是一个浮点数向量（列表）。两个向量之间的距离衡量它们的相关性。小距离表明高相关性，大距离表明低相关性。

明爷们儿·2025-02-28 18:52

2.8 通过微调提升模型的准确度与效率-大模型ACP模拟题-真题

A.通过低秩矩阵间接影响模型行为B.会直接修改原始模型权重✅C.支持参数回退操作D.训练效率高于全参微调解析：LoRA通过添加额外参数而非修改原权重实现微调当训练过程中出现

admin皮卡·2025-02-28 17:12

低代码革命：基于DeepSeek微调模型实现前端代码自动生成与私有JS API调用的实战指南

摘要本文探讨如何微调DeepSeek平台的大语言模型，以实现前端代码的智能生成与自建JavaScriptAPI库的无缝调用。

Light60·2025-02-28 15:58

微软发布 Phi-4 迷你模型,适合本地部署ChatBot

该模型经历了一个增强过程，包含了监督微调和直接偏好优化，以支持精确的指令遵循和稳健的安全措施。

吴脑的键客·2025-02-28 13:43

大模型调优方法：提示工程、RAGs 与微调对比

前言每一个搭建大语言模型应用的AI工程师都会面临一个难题，如何选择一个合适调优方法。就算是强大的预训练LLM也可能无法直接满足项目中的特定需求。如项目需要一个特定结构的应用程序，如预训练缺失上下文的重要文件，再比如有特定术语和结构的高专业性的行业领域，面对这些问题，需要有特定的方法来调整LLM。要决定用哪种调优方法，首先得明白这些方法的含义。提示工程（PromptEngineering）提示工程相

AI大模型探索者·2025-02-28 11:03

pytorch基础 nn.embedding

nn.Embedding是PyTorch中的一个模块，用于创建嵌入层（embeddinglayer），它将离散的索引（例如词汇表中的单词索引）映射为固定大小的稠密向量。

yuweififi·2025-02-28 10:49

阿里巴巴DIN模型原理与Python实现

eso1983·2025-02-28 09:08

PyTorch使用常见异常和解决办法汇总

PyTorch后同时在Jupyter导入失败Nomodulenamed'torch'2.PyTorch使用张量时报错expectedscalartypeDoublebutfoundFloat3.PyTorch创建Embedding

东哥说AI·2025-02-28 09:36

DeepSeek R1 简单指南：架构、训练、本地部署和硬件要求

这项研究在如何仅依靠强化学习而不是过分依赖监督式微调的情况下，增强LLM解决复杂问题的能力上，取得了重要进展。

爱喝白开水a·2025-02-28 07:52

深度解析：大模型开源的真与假

目录大模型企业开闭源策略各异开源大模型的定义与现状开源内容的局限性通常开放的内容实际未开放的关键内容法律与商业模式的约束开源许可证的重要性大模型的定制许可证及其限制性条款商业公司对开源大模型的策略和目的建立生态系统吸引开发者提升品牌形象保持竞争优势技术创新和改进技术与协助开发的挑战训练和推理过程的资源需求差异微调和衍生模型的技术实现及其局限性开源大模型在协作开发中的局限总结大模型的发展开启了

rs勿忘初心·2025-02-28 05:39

向量数据库实战介绍

在向量数据库中，数据以向量的形式进行存储和处理，需要将原始的非向量型数据转化为向量表示（比如文本使用Embedding技术获得其表征向量）。这种数据库能够高效地进行

Zhank10·2025-02-28 04:02

利用DSPy优化LangChain RAG系统的实战指南

具体来说，DSPy编译器会在内部追踪你的程序，然后为大型语言模型（LLMs）创建高质量的提示（或为小型LLMs训练自动微调），以教会它们任务的步骤。

scaFHIO·2025-02-28 04:01

前言：什么是大模型微调

一、大模型微调的基础知识1.什么是大模型微调？大模型微调（Fine-tuning）是指在预训练模型的基础上，针对特定的任务或数据集进行进一步训练的过程。

伯牙碎琴·2025-02-28 04:26

使用Hugging Face Text Embeddings Inference进行文本嵌入推理

在这篇文章中，我们将探讨如何使用HuggingFace的TextEmbeddingsInference（TEI）工具包来部署和服务开源文本嵌入和序列分类模型。

dgay_hua·2025-02-28 01:40

推荐频道

embedding微调