BERT蒸馏

从 Word2Vec 到 BERT：AI 不止是词向量，更是语言理解

一、前言在上篇文章中，我们介绍了Word2Vec以及它的作用，总的来说：Word2Vec是我们理解NLP的第一站Word2Vec将词变成了“向量”——终于可以用机器理解词语的相似度我们获得了例如“国王-男人+女人≈女王”的类比能力我们可以将Word2Vec这种算法能力，应用到各种创新场景，例如基于Graph的推荐系统，后续如果小伙伴有需要，可以一起深入交流。但同时也指出了它的不足：一个词=一个固定
ox180x·2025-05-22 01:23

大模型从入门到精通，从看这篇开始：神仙级 AI 大模型入门教程【非常详细】

近年来，人工智能（AI）大模型的迅猛发展吸引了广泛关注，如GPT-3、BERT等。它们的强大能力在自然语言处理、图像识别等领域得到了广泛应用。
大模型知识·2025-05-21 15:46

II-Medical-8B论文速读：140 万开源蒸馏推理数据集助力大语言模型训练

《140万开源蒸馏推理数据集助力大语言模型训练》论文速读一、引言论文介绍了AM-DeepSeek-R1-Distilled数据集，这是一个包含140万条带推理痕迹的通用推理任务数据集，涵盖了高质量且具有挑战性的推理问题
Open-source-AI·2025-05-21 10:10

知识蒸馏在小样本学习中的作用

知识蒸馏在小样本学习中的作用关键词：知识蒸馏，小样本学习，深度神经网络，软标签，迁移学习，注意力机制摘要：本文将详细探讨知识蒸馏技术在小样本学习中的重要作用。
AI天才研究院·2025-05-21 09:32

BERT 作为Transformer的Encoder 为什么采用可学习的位置编码

摘要BERT在位置编码上与原始Transformer论文中的sin/cos公式不同，选择了可学习（learned）的位置嵌入方案。
橙子小哥的代码世界·2025-05-21 08:59

【NLP】34. 数据专题：如何打造高质量训练数据集

在大语言模型（LLM）如GPT、BERT、T5爆发式发展的背后，我们常常关注模型架构的演化，却忽视了一个更基础也更关键的问题：训练数据从哪里来？这些数据是如何清洗、筛选和标注的？
pen-ai·2025-05-21 02:52

BERT模型原理与代码实战案例讲解

1.2BERT的诞生B
AI大模型应用之禅·2025-05-20 22:58

基于 BERT 的中文情感倾向分析库 Cemotion 2.0 发布

Cemotion2.0模型使用BERT(BidirectionalEncoderRepresentationsfromTransformers)训练得到，会为中文文本返回0～1之间的情感倾向置信度(情感极性
Cyberbolt-2020·2025-05-20 14:08

《算法导论(第4版)》阅读笔记：p82-p82

一、技术总结1.MatrixMatrices(矩阵)(1)教材因为第4章涉及到矩阵，矩阵属于线性代数(linearalgebra)范畴，如果不熟悉，可以看一下作者推荐的两本教材：GilbertStrang
codists·2025-05-19 20:37

模型蒸馏（Knowledge Distillation）

知识蒸馏（KnowledgeDistillation，简称KD）是一种深度学习中的模型压缩技术，其核心思想是将大型、复杂模型（教师模型）所学到的知识迁移到较小、结构简单的模型（学生模型）中，从而在保持性能的同时
PWRJOY·2025-05-19 17:17

深度剖析Transformer架构：从原理到实战的全面指南

结合自然语言处理、计算机视觉等多领域应用场景，提供BERT文本分类、ViT图像分类等完整代码实现及详细解析，通过可视化注意力机制增强理解。
AI_DL_CODE·2025-05-19 07:42

【自然语言处理与大模型】大模型（LLM）基础知识①

2.BERT（BidirectionalEncoderRepres
小oo呆·2025-05-19 03:11

Problem E: List练习

题目描述运用List完成下面的要求:1)创建一个List，在List中增加三个工人，基本信息如下：姓名年龄工资Tom183000Peter253500Mark2232002)插入一个工人，信息为：姓名：Robert
寒小松·2025-05-19 02:08

深度解析BERT：从理论到Pytorch实战

前言本文从BERT的基本概念和架构开始，详细讲解了其预训练和微调机制，并通过Python和PyTorch代码示例展示了如何在实际应用中使用这一模型。
代码很孬写·2025-05-18 22:44

BERT-BILSTM-GCN-CRF-for-NER: NER任务中的融合创新

BERT-BILSTM-GCN-CRF-for-NER:NER任务中的融合创新【下载地址】BERT-BILSTM-GCN-CRF-for-NERNER任务中的融合创新BERT-BILSTM-GCN-CRF-for-NER
傅阳轩·2025-05-18 19:19

英伟达推理模型论文速读：OpenCodeReasoning-Nemotron-32B

OpenCodeReasoning:AdvancingDataDistillationforCompetitiveCoding1.研究背景与动机自基于推理的大型语言模型（LLMs）出现以来，在代码任务中将推理能力蒸馏到学生模型中的技术取得了显著进展
Open-source-AI·2025-05-18 19:47

大厂NLP技术全景：从BERT到GPT-5的演进与优化

深入剖析：大厂AI算法在自然语言处理中的优化实践（专题系列）专题目录大厂NLP技术全景：从BERT到GPT-5的演进与优化亚马逊云科技Bedrock平台：企业级NLP微调与RAG优化实战高通骁龙AI引擎
DeepFaye·2025-05-18 02:17

NLP双雄争霸：GPT与BERT的生成-理解博弈——从技术分野到产业融合的深度解码

NLP双雄争霸：GPT与BERT的生成-理解博弈——从技术分野到产业融合的深度解码前言：在自然语言处理（NLP）的版图上，GPT与BERT如双子星般照亮了智能时代的语言星空。
灏瀚星空·2025-05-18 02:17

AI 大模型应用数据中心的数据压缩架构

AI大模型应用数据中心的数据压缩架构1.背景介绍1.1问题由来在当前数字化时代，人工智能大模型（AILargeModels），如GPT-3、BERT等，广泛应用于自然语言处理（NLP）、图像识别、自动驾驶等多个领域
AI大模型应用实战·2025-05-18 01:41

【AI论文】对抗性后期训练快速文本到音频生成

我们提出了对抗相对对比（ARC）后训练，这是第一个不基于蒸馏的扩散/流模型的对抗加速算法。
东临碣石82·2025-05-16 16:49

NLP实战入门——文本分类任务（TextRNN，TextCNN，TextRNN_Att，TextRCNN，FastText，DPCNN，BERT，ERNIE）

本文参考自https://github.com/649453932/Chinese-Text-Classification-Pytorch?tab=readme-ov-file，https://github.com/leerumor/nlp_tutorial?tab=readme-ov-file，https://zhuanlan.zhihu.com/p/73176084，是为了进行NLP的一些典型
雾重烟秋·2025-05-16 06:37

大模型从零基础入门到精通，从看这篇开始：神仙级AI大模型入门教程【非常详细】

引言近年来，人工智能（AI）大模型的迅猛发展吸引了广泛关注，如GPT-3、BERT等。它们的强大能力在自然语言处理、图像识别等领域得到了广泛应用。
大模型老炮·2025-05-15 22:36

GPT 经验

三、bert和gpt有什么区别四、文本生成的几大预训练任务？五、讲讲T5和Bart的区别，讲讲bart的DAE任务？六、讲讲Bart和Bert的区别？七、gpt3和gpt2的区别？
AI Echoes·2025-05-15 20:54

uDistil-Whisper：低数据场景下基于无标签数据过滤的知识蒸馏方法

Label-FreeDataFilteringforKnowledgeDistillationinLow-DataRegimes会议：2025年NAACL机构：卡内基梅降大学Abstract近期研究通过伪标签（pseudo-labels）将Whisper的知识蒸馏到小模型中
tongxianchao·2025-05-15 10:45

第6讲、全面拆解Encoder、Decoder内部模块

无论是GPT、BERT，还是今天的大模型GPT-4、Cl
何双新·2025-05-15 04:04

【AI大模型实战项目】llm-action：让天下没有难学的大模型

LLM参数高效微调技术原理综述LLM参数高效微调技术实战LLM分布式训练并行技术分布式AI框架分布式训练网络通信LLM推理LLM推理框架✈️LLM推理优化技术♻️LLM压缩LLM量化LLM剪枝LLM知识蒸馏
小城哇哇·2025-05-14 11:11

从零构建法律合同AI审查系统：基于BERT与规则引擎的智能风险检测全流程解析

深度解析：基于NLP的合同条款风险扫描系统开发实战（附完整Python代码）引言：法律科技的时代机遇近年来全球法律科技市场以年均24%的速度增长，其中合同智能审查系统占据35%的市场份额。某国际律所2023年报告显示，采用AI审查系统后，合同审核效率提升300%，关键条款遗漏率下降82%。本文将以合同条款风险扫描为切入点，系统讲解从数据构建到部署落地的完整技术方案，提供经过工业级验证的Python
Coderabo·2025-05-14 09:24

Go语言的发展历史 -《Go语言实战指南》

第1章Go语言的发展历史一、Go语言的诞生背景在2007年，Google的软件工程师RobertGriesemer、RobPike和KenThompson三位大神级人物（KenThompson是UNIX
程序员爱钓鱼·2025-05-13 21:05

语言与思维的差异：大模型的困境

这些模型，例如GPT-3、LaMDA和BERT，展现出惊人的文本生成、翻译、摘要和问答能力，甚至能够创作诗歌、剧本和代码。然而，尽管大模型在某些方面表现出令人惊叹的智能，但它们仍然
AGI大模型与大数据研究院·2025-05-13 14:22

217. Clean Architecture架构

──────────────────────────────【一、CleanArchitecture简介】CleanArchitecture，又称为“简洁架构”或“整洁架构”，由RobertC.Martin
我也念过晚霞·2025-05-13 14:21

D-FINE数据清洗与预处理实战：从零到一构建企业级数据处理流水线

本文将从企业级数据清洗与预处理的实际需求出发，结合D-FINE的细粒度分布优化(FDR)和全局最优定位自蒸馏(GO-LSD)技术思想，设计一套高效的数据清洗与预处理实战方案。
Android洋芋·2025-05-13 14:19

解析 BERT 模型的核心结构

```html解析BERT模型的核心结构解析BERT模型的核心结构BERT（BidirectionalEncoderRepresentationsfromTransformers）是近年来自然语言处理领域的一项重要突破
BUG生产制造部·2025-05-13 08:12

为什么大模型都是decoder-only架构？

今天和大家聊聊，为什么大模型都是decoder-only架构目前主要的架构有3种：Bert为代表的encoder-only架构，ChatGLM为代表的encoder-decoder，以及GPT为代表的decoder-onlyencoder-only
AGI大模型老王·2025-05-13 07:32

java opencv获取像素点坐标_如何在opencv中使用相机校准来测量像素的真实世界坐标...

我已经从主题中读过3本书了实用OpenCV-SmarthBrahmbhat学习OpenCV-O'ReillyOpenCV2计算机视觉应用编程手册-RobertLaganière我已经完成了校准过程，校准后我得到了所有的返回参数
著名工具人·2025-05-13 06:56

SemanticSplitterNodeParser 和 Sentence-BERT 的区别和联系是什么

这涉及到文本切分（chunking）与语义向量（embedding）之间的关系。我们来详细对比：✅1.SemanticSplitterNodeParser是什么？SemanticSplitterNodeParser是llama-index提供的一种语义感知的文本切分工具。它的核心作用是：根据文本的语义边界来智能地切分长文本为多个小段（chunk或node），而不是像传统方法那样按固定长度切割。特点
背太阳的牧羊人·2025-05-12 07:58

在自然语言处理任务中，像 BERT 这样的模型会在输入前自动加上一些特殊token

1.什么是BERT？BERT是一个自然语言理解模型。你可以把它想象成一个超级聪明的“语言理解机器人”。
背太阳的牧羊人·2025-05-12 07:28

[CLS] 输出向量 和 [MASK] 向量

[CLS]输出向量和[MASK]向量是BERT（BidirectionalEncoderRepresentationsfromTransformers）模型中两个具有特定功能的特殊标记所对应的输出表示，
潇锐killer·2025-05-11 23:05

BERT类模型

1.BERT类模型是否需要处理[CLS]或池化？
背太阳的牧羊人·2025-05-11 23:04

[CLS] 向量是 BERT 类模型中一个特别重要的输出向量，它代表整个句子或文本的全局语义信息

[CLS]向量是BERT类模型中一个特别重要的输出向量，它代表整个句子或文本的全局语义信息。
背太阳的牧羊人·2025-05-11 23:31

tokenizer.encode_plus，BERT类模型 和 Sentence-BERT 他们之间的区别与联系

BERT类模型：是语义理解机器，输入这些数字，输出每个词或整句话的“理解结果”（向量）。
背太阳的牧羊人·2025-05-11 23:00

ImportError: cannot import name ‘PROTOCOL_TLS‘ from ‘urllib3.util.ssl_‘

解决办法：重装gensim不行的话，根据报错信息检查下所用的包是否在同一个路径下，我是pytorch_pretrained_bert这个包报的错，原来装在了C盘，现在的gensim装在了D盘，我把之前C
一个老丁头·2025-05-11 21:52

2024 ICPC 陕西省赛 G. Disappearing Number

G.DisappearingNumbertimelimitpertest:1secondmemorylimitpertest:256megabytesuukuislearningdigitaldynamicprogramming.Butoneday
Cons.W·2025-05-11 04:27

大语言模型主流架构解析：从 Transformer 到 GPT、BERT

友情提示：本文内容由银河易创AI（https://ai.eaigx.com）创作平台的gpt-4-turbo模型生成，旨在提供技术参考与灵感启发。文中观点或代码示例需结合实际情况验证，建议读者通过官方文档或实践进一步确认其准确性。在自然语言处理（NLP）的研究与应用中，大语言模型（LargeLanguageModel,LLM）近年来取得了显著的进展。大语言模型凭借其强大的上下文理解与生成能力，已被
字节旅行·2025-05-10 22:53

AI与自然语言处理（NLP）：从BERT到GPT的演进

AI与自然语言处理（NLP）：从BERT到GPT的演进系统化学习人工智能网站（收藏）：https://www.captainbed.cn/flu文章目录AI与自然语言处理（NLP）：从BERT到GPT的演进摘要引言技术架构演进
layneyao·2025-05-10 21:42

BERT的变种

BERT双向的TransformerEncoder。
jzwei023·2025-05-10 10:01

AI技术视角：美联储信号与黄金动态的量化研究——基于多模态数据分析框架

一、美联储政策文本的量化解构与市场响应追踪技术框架说明：采用自然语言处理（NLP）领域的主流模型BERT-CNN，对美联储政策声明进行语义权重分析。
金融小师妹·2025-05-10 04:20

AI驱动的制造工艺：系统化探索与创新

DeepSeek的目标是开发顶尖的大语言模型（LLM），并利用数据蒸馏技术打造更精炼、更实用的AI模型。
数澜悠客·2025-05-09 11:02

深度解析AI大模型中的模型微调技术：从基础到实践

从GPT-3到LLaMA，从BERT到ChatGLM，这些参数规模动辄数十亿的预训练模型展现出惊人的通用能力。然而，通用能力向特定任务的落地离不开关键技术——模型微调（Fine-tuning）。
awei0916·2025-05-09 10:57

深度学习模型安全：AI系统防护策略

通过数学模型推导、Python代码实现和真实场景案例，详细讲解对抗训练、防御蒸馏、梯度掩码等
AI大模型应用工坊·2025-05-09 09:41

AI编译器对比：TVM vs MLIR vs Triton在大模型部署中的工程选择

本文基于NVIDIAA100与GoogleTPUv4平台，通过BERT-base（110M）和GPT-2（1.5B）的实测数据，对比TVM、MLIR、Triton三大编译框架在动态shape支持、算子融合效率
学术猿之吻·2025-05-09 04:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他