BERT蒸馏

大模型蒸馏与大模型微调技术有啥差别?

大模型蒸馏与大模型微调是当前人工智能领域中两种重要的技术手段，它们在模型优化、性能提升和资源利用方面各有特点。以下将从定义、技术原理、应用场景及优缺点等方面对这两种技术进行深入对比。
kcarly·2025-02-01 08:37

AI大模型在智能客服系统中的应用

对话生成与上下文管理对话生成上下文管理3.提高客服系统响应精度的策略1.使用专门训练的数据集2.引入实体识别和意图分类3.反馈循环和持续优化4.AI大模型在企业中的优化与调优策略1.模型微调（Fine-tuning）2.模型蒸馏
季风泯灭的季节·2025-02-01 04:33

论文笔记（七十）DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（二）

IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning（二）文章概括摘要：2.方法2.3.DeepSeek-R1：冷启动强化学习2.3.1.冷启动2.3.2.面向推理的强化学习2.3.3.拒绝采样与监督微调2.3.4.面向所有场景的强化学习2.4.蒸馏
墨绿色的摆渡人·2025-01-31 07:01

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！

我把DeepSeek-R1推理能力知识蒸馏到Qwen2，效果真的炸裂！！！
AI生成曾小健·2025-01-31 03:00

火出圈的DeepSeeK R1详解

模型蒸馏支持：允许用户利用模型输出训练
清风AI·2025-01-29 17:58

DeepSeek-R1-Distill-Qwen-1.5B：最佳小型LLM？

但今天我们不是在讨论这两款超级模型，而是讨论DeepSeek-R1的一个蒸馏版本——DeepSeek-R1-Distill-Qwen-1.5B，它可能是今天被低估的版本，虽然只有15亿个参数，但它悄无声息地在一些主要基准上超越了
李孟聊人工智能·2025-01-29 13:53

Python实现图像（边缘）锐化：梯度锐化、Roberts 算子、Laplace算子、Sobel算子的详细方法

目录Python实现图像（边缘）锐化：梯度锐化、Roberts算子、Laplace算子、Sobel算子的详细方法引言一、图像锐化的基本原理1.1什么是图像锐化？
闲人编程·2025-01-29 03:40

我们为什么要用大语言模型来迭代数据安全能力？

从OpenAI的GPT系列到谷歌的BERT，这些拥有海量参数的模型宛如智能巨人，正重塑着自然语言处理（NLP）的格局。你或许好奇，大语言模型究竟为何如此备受瞩目？
大模型.·2025-01-29 02:38

大模型产品架构全景解读：从应用场景到技术支持的完整路径

大模型不仅可以处理大量数据，进行复杂任务的自动化，还能通过微调、蒸馏等技术在特定场景中表现出色。
健忘的派大星·2025-01-29 02:34

DeepSeek R1：中国AI黑马的崛起与挑战

文章目录技术突破：从零开始的推理能力进化DeepSeekR1-Zero：纯RL训练的“自我觉醒”DeepSeekR1：冷启动与多阶段训练的平衡之道实验验证：推理能力的全方位跃升基准测试：超越顶尖闭源模型蒸馏技术
码事漫谈·2025-01-28 16:13

使用Bert+BiLSTM+CRF训练 NER任务

使用的数据集在这里E-CommercialNERDataset/电商NER数据集_数据集-阿里云天池针对面向电商的命名实体识别研究，我们通过爬取搜集了淘宝商品文本的标题，并标注了4大类，9小类的实体类别。具体类型及实体数量如下针对面向电商的命名实体识别研究，我们通过爬取搜集了淘宝商品文本的标题，并标注了4大类，9小类的实体类别。具体类型及实体数量如下：每个文件数据格式相同，都为根据BIschema
CHEN_RUI_2200·2025-01-28 14:57

机器学习&深度学习目录

机器学习模型机器学习笔记：Transformer_刘文巾的博客-CSDN博客attention相关机器学习笔记：attention_UQI-LIUWJ的博客-CSDN博客机器学习笔记：ELMOBERT_UQI-LIUWJ
UQI-LIUWJ·2025-01-28 09:26

transformer.js（一）：这个前端大模型运行框架的可运行环境、使用方式、代码示例以及适合与不适合的场景

Transformer.js是一个专为前端环境设计的框架，它支持运行基于Transformer架构的深度学习模型，尤其是像BERT、GPT等广泛应用于自然语言处理（NLP）的模型。
余生H·2025-01-27 21:59

光纤到户（FTTH）网络：无源光网络（PON）、有源光网络（AON），一文给你讲透！

光纤到户（FTTH,FiberToTheHome）是指通过光纤将通信信号直接传输到用户家庭的一种接入技术。与传统的铜缆接入方式相比，FTTH能够提供更高的带宽、更快的传输速度和更长的传输距离。
wljslmz·2025-01-26 04:57

[预训练语言模型专题] 百度出品ERNIE合集，问国产预训练语言模型哪家强

本文为预训练语言模型专题系列第七篇系列传送门[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]、[BERT来临]、[BE
yang191919·2025-01-25 09:04

【Lora微调】提高模型效率的创新方法

大型预训练模型，如GPT、BERT等，虽然在许多任务上表现出色，但它们的训练和微调通常需要巨大的计算资源，这使得许多研究者和开发者无法充分利用这些模型进行个性化或领域特定的调整。
@fishv·2025-01-25 07:19

Transformer大模型实战 BART模型的架构

ZenandtheArtofComputerProgramming/TextGenWebUILLMTransformer大模型实战BART模型的架构1.背景介绍1.1问题的由来随着大规模预训练模型的兴起，如BERT
AI天才研究院·2025-01-24 23:23

BERT模型在情感分析中的应用：探寻文本情感的智能之路

近年来，BERT（BidirectionalEncoderRepresentationsfromTransformers）模型凭借其强大的上下文理解能力，在情感分析中展现出了卓越的性能。本文将深
Echo_Wish·2025-01-24 20:26

（C++）P1216数字三角形（动态规划）⭐⭐⭐⭐

[USACO1.5][IOI1994]数字三角形NumberTriangles-洛谷题目描述观察下面的数字金字塔。写一个程序来查找从最高点到底部任意处结束的路径，使路径经过数字的和最大。
*TQK*·2025-01-24 17:32

HMI设计零-cybertruck车机UI项目从零到壹成果预览

cybertruck实际车载UI效果自家车载经常使用高德，本想上线高德瓦片，但是高德瓦片公开地图数据滞后经测试所有公开瓦片地图后，最终选择了腾讯地图瓦片数据,具备minimap功能上线版本UI效果使用了
william_myq·2025-01-24 07:41

Python 如何使用 Bert 进行中文情感分析

在过去的几年中，随着深度学习的发展，BERT（BidirectionalEncoderRepresentationsfromTransformers）模型迅速成为了处理自然语言的强大工具。
程序员徐师兄·2025-01-24 00:47

深入理解旋转位置编码（RoPE）及其在大型语言模型中的应用

类设计2、apply_rotary_pos_emb函数3、demo_apply_rotary_pos_emb函数三、完整RoPE代码Demo前言随着自然语言处理（NLP）领域的快速发展，预训练的语言模型如BERT
tangjunjun-owen·2025-01-23 21:00

Gitcode，git提交代码

Git全局设置gitconfig--globaluser.name"liberty0706"gitconfig--globaluser.email"libert[email protected]
liberty030706·2025-01-23 11:50

大语言模型原理与工程实践：预训练数据构建

诸如GPT-3、BERT等模型在各种任务中表现出色，从文本生成到情感分析，再到机器翻译，几乎无所不能。这些模型的成功很大程度上依赖于预训练数据的质量和规模。
AI大模型应用之禅·2025-01-23 06:38

HMI设计十-cybertruck-QPainter径向渐变圆与阴影流动设计

如何构建图示点阵背景可以参考本栏同刊HMI设计九-cybertruck-QPainter复杂油门刹车滑动块设计-CSDN博客本文目标如何构建QPainter阴影流动设计如何构建径向渐变阴影圆如何营造阴影流动效果如何构建径向渐变阴影圆使用
william_myq·2025-01-23 06:35

大型语言模型高效预训练策略的比较研究

扩展LLM的挑战3.高效预训练策略3.1增量训练3.1.1理论基础3.1.2实际实现3.1.3实验结果3.2混合优化3.2.1理论基础3.2.2实际实现3.2.3实验结果3.3其他新兴技术3.3.1知识蒸馏
二进制独立开发·2025-01-22 21:27

大语言模型原理基础与前沿 指令生成

大语言模型、指令生成、Transformer、BERT、GPT、LLaMA、Fine-tuning、PromptEngineering1.背景介绍近年来，大语言模型（LargeLanguageModels
AI大模型应用之禅·2025-01-22 07:04

Transformer架构原理详解：编码器（Encoder）和解码器（Decoder）

自2017年谷歌发布了基于Transformer的机器翻译模型BERT以来，Transformer及其变体在各种NLP任务上取得了突破性的成果，例如文本分类、问答系统、文本摘要
AI大模型应用之禅·2025-01-22 00:08

Transformer 架构对比：Dense、MoE 与 Hybrid-MoE 的优劣分析

DenseTransformerMoE(MixtureofExperts)TransformerHybrid-MoETransformer2.Transformer按照编码方式分类单向自回归模型(如早期GPT系列)双向模型(如BERT
m0_74823683·2025-01-21 20:08

基于TSN的实时通信网络延迟评估技术

论文标题：ATSN-basedTechniqueforReal-TimeLatencyEvaluationinCommunicationNetworks作者信息：AlbertoMorato,ClaudioZunino
神一样的老师·2025-01-21 15:49

大模型推理：vllm多机多卡分布式本地部署

文章目录1、vLLM分布式部署docker镜像构建通信环境配置2、其他大模型部署工具3、问题记录参考文献单台机器GPU资源不足以执行推理任务时，一个方法是模型蒸馏量化，结果就是会牺牲些效果。
m0_74824755·2025-01-21 08:20

YOLOv10改进，YOLOv10改进主干网络为GhostNetV3(2024年华为的轻量化架构，全网首发)，助力涨点

我们发现，适当的重参数化和知识蒸馏设计对
挂科边缘·2025-01-20 23:19

SOA 术语概述，第 2 部分: 开发流程、模型和资产

文档选项将此页作为电子邮件发送拓展Tomcat应用下载IBM开源J2EE应用服务器WASCE新版本V1.1级别：初级BertrandPortier([email protected]),IT架构师,
rochening·2025-01-20 19:13

知识蒸馏和剪枝

知识蒸馏（KnowledgeDistillation）和模型剪枝（ModelPruning）是两种常用的模型压缩和加速技术，它们被广泛用于提高模型的推理效率，尤其是在边缘设备和资源受限的环境中。
我叫罗泽南·2025-01-20 12:02

凸优化学习

这里强烈推荐MIT公开课《线性代数》，GilbertStrang教授主讲，完全不是照本宣科，而是注重几何解释，非常具有启发性，学完之后，你会对线性代数有全新的认识。
qiaoxinyu10623·2025-01-20 04:44

工业大模型市场图谱：53个工业大模型全面梳理

根据沙丘智库发布的《2024年中国工业大模型应用跟踪报告》，工业大模型是指在通用基础大模型（例如文心一言、通义千问等）的基础上，结合行业&场景数据进行预训练和微调，并进行模型压缩（裁剪、蒸馏等）所形成的大模型
大模型常客·2025-01-19 19:21

广义加性模型的参数、半参数、非参数形式

GAM最初由TrevorHastie和RobertTibshirani[1]开发，用于将广义线性模型的性质与加性模型相结合。它们可以被解释为朴素贝叶斯生成模型的判别推广。
智识小站·2025-01-19 17:31

神经网络初始化 (init) 介绍

打破对称性1.2控制方差1.3加速收敛与提高泛化能力2.常见的初始化方法及其应用场景2.1Xavier/Glorot初始化2.2He初始化2.3正交初始化2.4其他初始化方法3.如何设置初始化4.基于BERT
迷路爸爸180·2025-01-18 23:25

nlp培训重点-3

importjsonimportreimportosimporttorchimportrandomimportloggingfromtorch.utils.dataimportDataset,DataLoaderfromcollectionsimportdefaultdictfromtransformersimportBertT
heine162·2025-01-18 18:24

全新 Hopper 架构的Transformer 引擎有什么特点？

Transformer模型是当今广泛使用的语言模型（例如asBERT和GPT-3）的支柱。
扫地的小何尚·2025-01-18 17:50

BERT详解

1.背景结构1.1基础知识BERT（BidirectionalEncoderRepresentationsfromTransformers）是谷歌提出，作为一个Word2Vec的替代者，其在NLP领域的
comli_cn·2025-01-18 17:18

1.4走向不同：GPT 与 BERT 的选择——两大NLP模型的深度解析

走向不同：GPT与BERT的选择——两大NLP模型的深度解析在自然语言处理（NLP）领域，GPT（GenerativePretrainedTransformer）和BERT（BidirectionalEncoderRepresentationsfromTransformers
少林码僧·2025-01-18 16:12

R语言的计算机基础

一、R语言的基本概念R语言源于新西兰的维特利大学，最初由RobertGe
java熊猫·2025-01-18 06:23

Transformer 架构对比：Dense、MoE 与 Hybrid-MoE 的优劣分析

DenseTransformerMoE(MixtureofExperts)TransformerHybrid-MoETransformer2.Transformer按照编码方式分类单向自回归模型(如早期GPT系列)双向模型(如BERT
XianxinMao·2025-01-18 05:21

真正意义上的线控转向系统

我们一致认为目前的智驾车所使用的底盘都是线控底盘，并且具有线控转向系统，但是目前真正意义上的线控转向系统在量产车型中仅有特斯拉Cybertruck和蔚来ET9两款车型。
简单的人工智能·2025-01-18 00:10

211本硕二战腾讯大模型算法岗，已凉......

Q2：讲一下Bert的结构和怎么训练的，怎么用bert做下游任务？八股，双向transformerencoder结构，
AI大模型入门·2025-01-16 21:47

NodeJS项目架构设计，看这一篇就足够了！

1.整洁架构简介CleanArchitecture（整洁架构）由RobertC.Martin（UncleBob）提出，它强调应用程序内部关注点的分离。该架构提倡业务逻辑应与任何框架、数据库或外部
·2025-01-16 15:40

BART&BERT

BART和BERT都是基于Transformer架构的预训练语言模型。
Ambition_LAO·2024-09-16 07:02

AI大模型的架构演进与最新发展

本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。
季风泯灭的季节·2024-09-16 04:13

go语言安装快速入门

Go是从2007年末由RobertGriesemer,RobPike,KenThompson主持开发，后来还加入了IanLanceTaylor,RussCox等人，并最终于2009年11月开源，在2012
吉祥鸟hu·2024-09-15 17:25
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他