embedding微调第8页

XXL-JOB v2.4.2 发布 | 分布式任务调度平台

2、【优化】Cron解析组件代码重构微调，健壮性提升；3、【优化】修改密码交互调整，避免CSRF隐患；4、【优化】JdkSerializeTool流关闭逻辑优化；5、【优化】任务信息、执行日志API非功能设计完善

·2025-02-02 00:26

开源LLMs导览：工作原理、顶级LLM列表对比

2.1预训练2.2代币化2.3开源LLM的微调2.4输入编码2.5训练与优化2.6推理三、开源LLM对组织的好处3.1增强的数据安全和隐私3.2节约成本3.3减少供应商依赖性3.4代码透明度四、哪种LLM

万俟淋曦·2025-02-01 23:11

LitGPT - 20多个高性能LLM，具有预训练、微调和大规模部署的recipes

文章目录一、关于LitGPT二、快速启动安装LitGPT高级安装选项从20多个LLM中进行选择三、工作流程1、所有工作流程2、微调LLM3、部署LLM4、评估LLM5、测试LLM6、预训练LLM7、继续预训练

伊织产研·2025-02-01 19:38

DeepSeek R1 简易指南：架构、培训、本地部署和硬件要求

该研究突破性地采用强化学习（ReinforcementLearning）作为核心训练范式，在不依赖大规模监督微调的前提下显著提升了模型的复杂问题求解能力。

·2025-02-01 16:49

pytorch基于 Transformer 预训练模型的方法实现词嵌入（tiansz/bert-base-chinese）

以下是一个完整的词嵌入（WordEmbedding）示例代码，使用modelscope下载tiansz/bert-base-chinese模型，并通过transformers加载模型，获取中文句子的词嵌入

纠结哥_Shrek·2025-02-01 15:05

自然语言处理-词嵌入 (Word Embeddings)

词嵌入（WordEmbedding）是一种将单词或短语映射到高维向量空间的技术，使其能够以数学方式表示单词之间的关系。词嵌入能够捕捉语义信息，使得相似的词在向量空间中具有相近的表示。

纠结哥_Shrek·2025-02-01 09:19

大模型蒸馏与大模型微调技术有啥差别?

大模型蒸馏与大模型微调是当前人工智能领域中两种重要的技术手段，它们在模型优化、性能提升和资源利用方面各有特点。以下将从定义、技术原理、应用场景及优缺点等方面对这两种技术进行深入对比。

kcarly·2025-02-01 08:37

「DeepSeek接班OpenAI」，最新开源的R1推理模型，让AI圈爆了

多阶段训练：创新的模型架构DeepSeek-R1的训练方式采用了多阶段循环的策略，具体包括基础训练、强化学习（RL）、微调等多个阶段。这

人工智能学家·2025-02-01 06:23

DeepSeek R1：AI领域的新标杆

此外，R1-Zero模型通过强化学习和测试时计算实现了强大的推理能力，无需监督微调数据，标志着中国在AI领域的快速崛起，挑战美国的主导地位。AI模型在推理能

XianxinMao·2025-02-01 06:23

【学习心得】Python好库推荐——PEFT

PEFT（Parameter-EfficientFine-Tuning）是一种在深度学习中进行参数高效微调的技术。

小oo呆·2025-02-01 06:48

AI大模型在智能客服系统中的应用

基于大模型的智能客服系统架构2.对话生成与上下文管理对话生成上下文管理3.提高客服系统响应精度的策略1.使用专门训练的数据集2.引入实体识别和意图分类3.反馈循环和持续优化4.AI大模型在企业中的优化与调优策略1.模型微调

季风泯灭的季节·2025-02-01 04:33

表格化数据处理中大语言模型的微调优化策略研究

ResearchonFine-TuningOptimizationStrategiesforLargeLanguageModelsinTabularDataProcessing论文主要内容这篇论文的主要内容是研究大型语言模型（LLMs）在处理表格数据时的微调优化策略

C7211BA·2025-01-31 23:25

【大模型入门必看】LLM大语言模型导读

本章将简要梳理大语言模型的技术要点以及构建过程，并且列举了可用于预训练以及微调模型的常用数据集，介绍了目前开发大语言模型常用的代码库、预训练大语言模型的步骤以及涉及的关键技术，包括数据准备阶段、模型

古-月·2025-01-31 16:24

论文笔记（七十）DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（二）

IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning（二）文章概括摘要：2.方法2.3.DeepSeek-R1：冷启动强化学习2.3.1.冷启动2.3.2.面向推理的强化学习2.3.3.拒绝采样与监督微调

墨绿色的摆渡人·2025-01-31 07:01

实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）

——关于使用Unsloth库、LoRa微调及GRPOTrainer自定义奖励函数实现“只输出10个英语单词”的探索为什么要进行“只输出10个英文单词”的极端尝试？

FF-Studio·2025-01-30 19:54

用红黑树实现map和set

因为map有两个参数，所以我们要先对原来的代码进行微调，将传入的参数调整为Key和Value。还有一些地方需要微调，详见https://github.com/Radiu

RadiumYang·2025-01-30 13:33

【llm对话系统】大模型源码分析之llama模型的long context更长上下文支持

本文将深入分析Llama源码中实现长上下文的关键技术点，包括位置编码(positionembedding)的外推方法、注意力机制的优化等。我们将通过详细的代码解析来理解其实现原理。

kakaZhui·2025-01-30 12:57

DeepSeek V3 模型微调（SFT）技术详解

DeepSeekV3模型微调（SFT）技术详解目录引言背景知识2.1深度学习与预训练模型2.2微调（Fine-tuning）的概念2.3监督微调（SupervisedFine-tuning,SFT）DeepSeekV3

zhangjiaofa·2025-01-30 00:28

【llm对话系统】大模型源码分析之 LLaMA 位置编码 RoPE

本文将深入探讨LLaMA模型中使用的RotaryEmbedding（旋转式嵌入）位置编码方法，并对比传统的Transformer位置编码方案，分析其设计与实现的优势。1.传

kakaZhui·2025-01-29 23:17

【Spring AI】02. AI 概念

文章目录概述模型（Models）提示词（Prompts）提示词模板（PromptTemplates）嵌入向量（Embeddings）令牌（Tokens）输出解析（OutputParsing）将您的数据引入

小明同学的开发日常·2025-01-29 18:01

万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南

万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南LLM训练时间和的成本太过庞大，况且个人卷训练经验极为困难，不妨从微调开始搞起。

汀、人工智能·2025-01-29 15:40

通义千问 Qwen2-VL-2B：技术架构、核心原理、微调操作与场景应用详解

通义千问Qwen2-VL-2B：技术架构、核心原理、微调操作与场景应用详解引言近年来，多模态大模型在人工智能领域取得了显著进展，尤其是在视觉语言理解（Vision-LanguageUnderstanding

zhangjiaofa·2025-01-29 10:16

大模型产品架构全景解读：从应用场景到技术支持的完整路径

大模型不仅可以处理大量数据，进行复杂任务的自动化，还能通过微调、蒸馏等技术在特定场景中表现出色。

健忘的派大星·2025-01-29 02:34

[论文笔记] llama-factory 微调qwen2.5、llama3踩坑

一、bug1、pre-tokenize的时候,会OOM解决：在yaml文件中添加streaming参数#tokenizestreaming:Truemax_steps:10000https://github.com/hiyouga/LLaMA-Factory/blob/3a023bca2a502810a436cfba7708df164754ea62/src/llamafactory/hparams

心心喵·2025-01-28 20:14

LLM架构与优化：从理论到实践的关键技术

重点分析了预训练、后训练、监督微调（SFT）和偏好对齐（PreferenceAlignment）在提升模型性能中的作用，并对比了直接偏好优化（DPO）

XianxinMao·2025-01-28 20:14

llamafactory0.9.0微调qwen2vl

LLaMA-Factory/data/README_zh.mdatmain·hiyouga/LLaMA-Factory·GitHubEfficientlyFine-Tune100+LLMsinWebUI(ACL2024)-LLaMA-Factory/data/README_zh.mdatmain·hiyouga/LLaMA-Factoryhttps://github.com/hiyouga/LLa

Kun Li·2025-01-28 15:07

【大模型】Hugging Face下载大模型的相关文件说明

个人首页：神马都会亿点点的毛毛张随着大模型的火热，许多人开始纷纷入坑️大模型，不过目前很多人都只是基于开源的大模型做微调，今天毛毛张要分享的是关于HuggingFace下载大模型微调文件的说明，有助于大家下载的微调文件的作用文章目录

神马都会亿点点的毛毛张·2025-01-28 11:36

预训练语言模型

这种学习能力使得预训练模型可以捕获数据的复杂结构和特征，并且在后续的特定任务上进行微调，从而提高模型在目标任务上的性能。

Algorithm_Engineer_·2025-01-28 04:51

LLaVA微调debug：ImportError: xxx/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol:

完整报错信息：ImportError:/home/linjl/anaconda3/envs/sd/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so:undefinedsymbol:_ZN3c105ErrorC2ENS_14SourceLocationENSt7__cxx1112basic_s

同屿Firmirin·2025-01-28 00:46

深度学习-70-大语言模型LLM之基于大模型LLM与检索增强技术RAG的智能知识库

文章目录1RAG出现的背景2搭建过程2.1数据收集2.2数据处理2.2.1数据清洗与预处理2.2.2文本分块2.2.3微调数据格式统一2.3建立向量索引2.4大模型选择与微调3开源知识库项目3.1FastGPT3.2AnythingLLM3.3LangChain-Chatchat4

皮皮冰燃·2025-01-27 21:31

AI大模型微调：产品经理面试必知题库与解答技巧！

在AI大模型微调领域的产品经理面试中，总会遇到一系列与技术细节、项目经验、市场趋势以及职业规划相关的问题。

IT猫仔·2025-01-27 21:26

FAQ智能客服系统

https://github.com/ruonan101/-FAQ-https://github.com/ruonan101/-FAQ-这是一个基于嵌入(Embedding)技术的智能客服系统，支持：FAQ

小海的小窝·2025-01-27 08:00

基于Stable Diffusion 3.5 Large模型的微调技术详解

基于StableDiffusion3.5Large模型的微调技术详解引言StableDiffusion3.5Large（以下简称SD3.5）是近年来在生成式AI领域备受关注的一个模型，尤其在图像生成任务中表现出色

zhangjiaofa·2025-01-27 08:28

利用MMDetection进行模型微调和权重初始化

目录模型微调修改第一处：更少的训练回合Epoch修改第二处：更小的学习率LearningRate修改第三处：使用预训练模型权重初始化实际使用案例init_cfg的具体使用规则初始化器配置汇总本文基于MMDetection

MickeyCV·2025-01-27 07:27

开发者实战 | OpenVINO™ 协同 Semantic Kernel：优化大模型应用性能新路径

点击蓝字关注我们,让开发变得更有趣作者：杨亦诚作为主要面向RAG任务方向的框架，SemanticKernel可以简化大模型应用开发过程，而在RAG任务中最常用的深度学习模型就是Embedding和Textcompletion

OpenVINO 中文社区·2025-01-27 04:08

大语言模型LLM基础扫盲速通版

9.2在LLM中，微调(fine-tuning)是什么？9.3模型大小如何影响LLM的性能？9.4LLM能生

SmallerFL·2025-01-27 00:40

Firefly-LLaMA2-Chinese - 开源中文LLaMA2大模型

文章目录关于模型列表&数据列表训练细节增量预训练&指令微调数据格式&数据处理逻辑增量预训练指令微调模型推理权重合并模型推理部署关于github:https://github.com/yangjianxin1

伊织产研·2025-01-27 00:07

RAG理论到实践：高级、模块化RAG在AI工程架构中的行业通用解决方案与实施策略(Advanced RAG✨)

RAG理论到实践：高级、模块化RAG在AI工程架构中的行业通用解决方案与实施策略(AdvancedRAG✨)1.RAG简介词汇解释说明embedding嵌入（embedding）是指将高维数据映射为低维表示的过程

汀、人工智能·2025-01-26 23:57

# AI绘图中的Embedding、CLIP、Flux中的Clip与LCM SDXL加速生成解析

AI绘图中的Embedding、CLIP、Flux中的Clip与LCMSDXL加速生成解析在现代AI绘图和深度学习中，涉及了多个复杂的概念和技术，这些技术在图像生成、训练加速以及多模态学习等方面起着至关重要的作用

迪小莫学AI·2025-01-26 12:11

Direct Preference Optimization (DPO): 一种无需强化学习的语言模型偏好优化方法

现有的方法通常通过**强化学习从人类反馈（RLHF）**来引导模型行为，但RLHF存在以下问题：复杂性高：RLHF需要先训练一个奖励模型来反映人类偏好，然后使用强化学习来微调语言模型，使其在最大化奖励的

Yuleave·2025-01-26 09:12

浅谈人群扩展（lookalike）模型

常用的算法应该包括协同过滤、基于标签的相似度计算，还有一些机器学习模型，比如逻辑回归、随机森林，以及深度学习的模型，比如DNN或者Embedding方法。

eso1983·2025-01-25 12:23

文本嵌入技术Text Embedding模型详解：text2vec、OpenAI ada-002到M3E及BGE-M3的演变

TextEmbedding模型：从text2vec、openai-textembedding到m3e、BGE1.TextEmbedding榜单：MTEB、C-MTEB1.1《MTEB:MassiveTextEmbeddingBenchmark

汀、人工智能·2025-01-25 08:00

【Lora微调】提高模型效率的创新方法

大型预训练模型，如GPT、BERT等，虽然在许多任务上表现出色，但它们的训练和微调通常需要巨大的计算资源，这使得许多研究者和开发者无法充分利用这些模型进行个性化或领域特定的调整。

@fishv·2025-01-25 07:19

简洁明了：介绍大模型的基本概念（大模型和小模型、模型分类、发展历程、泛化和微调）

目录前言1、大模型的定义1.1、大模型与小模型的对比2、大模型相关概念区分2.1、基础模型（FoundationModel）2.2、超大模型（Ultra-largeModel）2.3、大语言模型（LargeLanguageModel，LLM）3、大模型的发展历程3.1、萌芽期（1950-2005）3.2、探索沉淀期（2006-2019）3.3、迅猛发展期（2020-至今）4、大模型的特点5、大模型

周杰伦_Jay·2025-01-25 06:10

再分享API形式调用Dify项目应用

福安德信息科技·2025-01-25 06:40

stable diffusion webui电商基础模型

电商生成模型的产生主要有两个路子，1.训练微调；2.模型融合。下面这些是借鉴，帮助思考如何构建电商模型。

Kun Li·2025-01-25 05:06

transformer编码器解码器图解

编码器部分（左边）输入嵌入（InputEmbedding）：步骤：将输入序列中的每个单词转换为固定维度的向量表示。生活场景：想象你在学习一种新的语言，每个单词都有一个独特的代号或符号。

Ai玩家hly·2025-01-24 21:08

从文字到思维：呆马GPT在人工智能领域的创新之旅

GPT模型通过在大规模数据集上进行预训练，学习语言的统计规律和世界知识，然后在特定任务上进行微调，以适应不同的应用需求。GPT领域的发展推动了自然语言处理（NLP）技术

呆码科技·2025-01-24 20:28

LLaMA Pro是什么相比于lora full freeze有什么区别怎么使用

LLaMAPro是一种基于LLaMA架构改进的大型语言模型（LLM），旨在解决大模型微调中的知识遗忘问题。

Ven%·2025-01-24 16:58

CSGHub 快速部署指南

此种部署方法非常适合概念验证和测试，使用户能够立即访问CSGHub的核心功能（包括模型，数据集管理、Space应用创建以及模型的推理和微调（需要GPU））。本文将带您一步步完成部署。什

·2025-01-24 16:02

推荐频道

embedding微调