BERT蒸馏第8页

Windows Anaconda使用Sentence-BERT获取句子向量

1、安装Anaconda：Anaconda是一个流行的Python数据科学平台，它包含了许多科学计算和数据分析的库，包括transformers和sentence_transformers。虽然不是必需的，但使用Anaconda可以简化环境管理和依赖安装的过程。可以从Anaconda官网下载并安装Anaconda。下载地址：DownloadNow|Anaconda2、创建虚拟环境（推荐）：为了避免

DavidSoCool·2025-04-09 14:07

AI 大模型微调原理深度剖析与源码解读

AI大模型微调原理深度剖析与源码解读本人掘金号，欢迎点击关注：掘金号地址本人公众号，欢迎点击关注：公众号地址一、引言在人工智能领域，大型语言模型（LLMs）如GPT-3、BERT等展现出了强大的语言理解和生成能力

Android 小码蜂·2025-04-09 13:31

聚类算法 ap 聚类谱聚类

AP聚类（AffinityPropagationClustering）是一种基于消息传递的聚类算法，由BrendanJ.Frey和DelbertDueck于2007年提出。

Gsen2819·2025-04-09 06:16

中文语义相似度 + 去除标签后的网页文本（爬虫数据）

模型对比维度模型名称中文优化程度效果（准确性）稳定性（不同文本噪声）对爬虫文本的鲁棒性显存占用shibing624/text2vec-base-chinese✅高⭐⭐⭐⭐⭐⭐⭐⭐✅非常适合<1.5GBuer/sbert-base-chinese-nli

大霸王龙·2025-04-08 22:56

用于预训练BERT的数据集——wiki数据集问题以及存在的其他问题

问题1：出现"fileisnotazipfile"原因是链接已经失效。解决方法：打开下面链接自行下载，需要魔法。下载完解压到特定位置。下载链接：项目首页-Wikitext-2-v1数据包下载:Wikitext-2-v1数据包下载本仓库提供了一份Wikitext-2-v1的标准数据包，方便无法通过亚马逊网址下载的用户获取-GitCode修改load_data_wiki函数中data_dir的路径，如

成为不掉头发的工程师·2025-04-08 04:24

修复AttributeError: BertTokenizerFast has no attribute pad_token

#记录工作在windows系统上部署ChatTTS-OpenVoice这个项目时，遇到：(.venv虚拟环境python3.11.11)AttributeError:BertTokenizerFasthasnoattributepad_token

love530love·2025-04-07 21:43

《AI大模型应知应会100篇》第5篇：大模型发展简史：从BERT到ChatGPT的演进

第5篇：大模型发展简史：从BERT到ChatGPT的演进摘要近年来，人工智能领域最引人注目的进步之一是大模型（LargeLanguageModels,LLMs）的发展。

带娃的IT创业者·2025-04-07 17:50

满血版DeepSeek-R1，零延迟、不限次、随便用！

我整理了一下问题，可以分成3类：回答卡顿，慢的要死，半天出不来结果，得反复重试服务器崩了，不知道啥时候能修复挂羊头卖狗肉，用8B蒸馏小模型冒充DeepSeekR1满血版，回答效果很差不能联网搜索不能支持图片对话不能支持文档对话这两天找遍各个渠道

程序员一帆（专注毕设辅导）·2025-04-07 03:21

产品经理的大语言模型课 03 - 定制自己的大语言模型

文章目录什么时候需要定制大语言模型提示词工程RAG、知识库与文本嵌入在数据准备阶段用户提问与回答微调模型蒸馏适配器训练总结什么时候需要定制大语言模型在很多时候直接使用公共、通用的大语言模型无法满足需求，

平头某·2025-04-07 00:33

【自然语言处理】BERT模型

BERT：BidirectionalEncoderRepresentationsfromTransformersBERT是Google于2018年提出的自然语言处理（NLP）模型，它基于Transformer

藓类少女·2025-04-07 00:03

综述：大语言 RDRec：如何利用大语言模型做推荐系统模型在信息抽取上的应用_rdrec 模型

AI大模型-搬运工·2025-04-07 00:32

NLP任务之文本分类(情感分析)

目录1加载预训练模型对应的分词器2加载数据集3数据预处理4构建数据加载器DataLoader5定义下游任务模型6测试代码7训练代码#做（中文与英文的）分类任务，Bert模型比较合适，用cls向下游任务传输数据

Hiweir ··2025-04-06 19:57

BERT训练环节（代码实现）

1.代码实现#导包importtorchfromtorchimportnnimportdltools#加载数据需要用到的声明变量batch_size,max_len=1,64#获取训练数据迭代器、词汇表train_iter,vocab=dltools.load_data_wiki(batch_size,max_len)#其余都是二维数组#tokens,segments,valid_lens（一维）

Hiweir ··2025-04-06 19:57

使用 AMD GPU 加速推理的投机采样

量化和蒸馏等压缩方法，以及诸如闪存注意力和Triton等硬件优化，已被提出在不同层面上减少计算成本。然而，这些方法要么在准确性上有所妥协，要么需要对模型实现进行重大改动。

109702008·2025-04-06 06:32

AI大模型入门必备：零基础到精通，一篇神仙级AI大模型教程带你启航！

引言近年来，人工智能（AI）大模型的迅猛发展吸引了广泛关注，如GPT-3、BERT等。它们的强大能力在自然语言处理、图像识别等领域得到了广泛应用。

AGI大模型老王·2025-04-06 02:02

Websphere_liberty 的安装及基本配置

Websphere_liberty——轻量级applicationWebServer准备安装包IMS----agent.installer.linux.gtkLibertycore-------liberty.CORE

｀伪情人·2025-04-05 12:35

# 教你计算模型训练时资源占用

深入解析BERT-Base模型显存占用与优化策略近年来，BERT（BidirectionalEncoderRepresentationsfromTransformers）作为自然语言处理领域的里程碑模型

@MrLiu·2025-04-05 11:24

实现pdf.js批注功能（高亮文本/下划线/导入导出）

Demo地址Demo地址获取方式在：https://demos.libertynlp.com/#/pdfjs-annotation.我仅仅基于pdf.js-dist完成了注释功能的开发，如果你想集成到项目中的话

ElasticPDF-新国产PDF编辑器·2025-04-05 07:31

基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理

在基于LLamaFactory微调完具备思维链的DeepSeek模型之后（详见《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》），接下来就需要针对微调好的模型或者是原始模型

羊城迷鹿·2025-04-05 02:27

BERT轻量化探索—模型剪枝（BERT Pruning）—Rasa维度剪枝

由于BERT参数众多，模型庞大，训练与推理速度较慢，在一些实时性要求较高应用场景无法满足需求，最近开始探索BERT轻量化部署BERT轻量化的方式：低精度量化。

PaperAgent·2025-04-04 23:11

Python中LLM的模型轻量化架构：MobileBERT与TinyBERT

在当今的人工智能领域，大型语言模型（LLM）如BERT、GPT等已经成为了自然语言处理（NLP）任务的核心。然而，这些模型通常具有庞大的参数量和计算复杂度，这使得它们在资源受限的设备上部署变得困难。

二进制独立开发·2025-04-04 23:10

Go和Golang语言简介

起源：由Google的RobertGriesemer、RobPike和KenThompson于2007年开始设计，2009年正式发布。

lisw05·2025-04-04 16:54

Transformers bert 迁移调用样例 - BertEmbeddings

importtorchfromtorchimportnnfromtypingimportOptionalclassBertEmbeddings(nn.Module):"""Constructtheembeddingsfromword

风筝超冷·2025-04-04 15:47

# BERT架构及详解

深度解析BERT：从架构设计到实战应用BERT（BidirectionalEncoderRepresentationsfromTransformers）自2018年提出以来，彻底改变了自然语言处理的技术范式

@MrLiu·2025-04-03 09:32

『大模型笔记』量化 vs 剪枝 vs 蒸馏：为推理优化神经网络！

量化vs剪枝vs蒸馏：为推理优化神经网络！文章目录一.量化vs剪枝vs蒸馏：为推理优化神经网络！

AI大模型前沿研究·2025-04-03 05:04

PyTorch中知识蒸馏浅讲

知识蒸馏在PyTorch中，使用teacher_model.eval()和冻结教师模型参数是知识蒸馏（KnowledgeDistillation）中的关键步骤。

Code_Geo·2025-04-03 02:13

[笔记.AI]大模型训练与向量值的关系

以下是详细分析：1.预训练阶段：向量化值必然改变动态调整过程：在预训练阶段（如BERT、GPT的初始训练），模型的嵌入层（EmbeddingLayer）作为可训练参数，通过反向传播不断优化。

俊哥V·2025-04-02 22:17

Transformer理解

它在自然语言处理（NLP）领域取得了革命性的成功，成为许多先进模型（如BERT、GPT系列、T5等）的基础架构。

慢慢变·2025-04-02 22:44

结构化剪枝（Structured Pruning）与动态蒸馏（Dynamic Distillation）

结构化剪枝（StructuredPruning）技术详解核心原理结构化剪枝通过模块级（如层、通道、块）而非单个权重的方式去除冗余参数，保留关键子网络。其优势在于：硬件友好性：生成规则稀疏模式（如4×4权重块），便于GPU/TPU等加速器并行计算。块状结构定义：首先将神经网络的权重矩阵划分为固定大小的块，例如4×4的小方块。每个块包含16个权重参数。整块剪枝：剪枝时以"块"为单位进行，而不是单独剪枝

frostmelody·2025-04-02 19:53

机器人三大定律的发展和演进概述

艾萨克·阿西莫夫IssacAssimov，1920~1992年，俄裔美国作家，犹太人，世界顶级科幻大师，与儒勒·凡尔纳JulesGabrielVerne、H·G·威尔斯HerbertGeorgeWells

2401_86637419·2025-04-02 19:22

bert系列模型区别（bert-base-cased/bert-base-uncased/bert-base-chinese)

文章目录BERT模型介绍bert-base-casedbert-base-uncasedbert-base-chineseBERT-BILSTM-CRF模型介绍模型下载地址BERT模型介绍BERT（BidirectionalEncoderRepresentationsfromTransformers

Cachel wood·2025-04-02 12:37

BERT与Transformer到底选哪个-上部

一、先理清「技术家谱」：BERT和Transformer是啥关系？

TGITCIC·2025-04-02 11:33

BERT与Transformer到底选哪个-下部

一、从"外卖系统"看技术本质：为什么说BERT和Transformer是AI界的"双胞胎兄弟"？

TGITCIC·2025-04-02 11:00

LLM（大语言模型）和AIGC入门学习路线图

你可以选择一些经典的大模型算法，如BERT、GP

程序猿李巡天·2025-04-02 09:50

2025-04-01 AGI大模型学习路线，非常详细收藏我这一篇就够了

大模型学习路线建议先从主流的Llama开始，然后选用中文的Qwen/Baichuan/ChatGLM，先快速上手体验prompt工程，然后再学习其架构，跑微调脚本如果要深入学习，建议再按以下步骤，从更基础的GPT和BERT

大模型入门学习·2025-04-01 18:25

大模型学习路线（2025最新）年薪800K程序员分享给你，存一下吧很难找全的！

学习资料书籍：GilbertStrang，《线性代数及其应用》SheldonRos

AI大模型-王哥·2025-04-01 17:19

DeepSeek：揭秘支持的AI模型与算法全览

问答系统：基于BERT等模型的智能问答。语义相似度计算：判断两段文本的语义是否相似。2.计算机视觉（CV）图像分类：识别

鸭鸭鸭进京赶烤·2025-03-31 16:52

一文读懂「Transformer」算法模型

Transformer是Google的团队在2017年提出的一种NLP经典模型，现在比较火热的Bert也是基于Transformer。Transformer模型使用了Self-Atten

朱晓霞AI·2025-03-31 08:51

深入详解自然语言处理（NLP）中的语言模型：BERT、GPT及其他预训练模型的原理与应用

【自然语言处理】——深入详解自然语言处理（NLP）中的语言模型：BERT、GPT及其他预训练模型的原理与应用自然语言处理（NLP）是人工智能（AI）领域中的重要分支，旨在通过计算机处理和分析自然语言数据

猿享天开·2025-03-30 19:54

【深度学习】yolov8使用的一个小warning

PSD:\code\JerseyNumberTrackerStrategy>&D:/Users/51442/anaconda3/python.exed:/code/JerseyNumberTrackerStrategy

weixin_40293999·2025-03-30 15:28

如何利用 LoRA 微调大模型，实现高效个性化 AI 方案

引言在人工智能领域，大型预训练模型（如GPT、BERT等）已经展现出惊人的能力，能够执行各种复杂的自然语言处理任务。

萧鼎·2025-03-30 13:42

计算机网络（13）以太网

1.以太网的起源和发展诞生：以太网最初由罗伯特·梅特卡夫（RobertMetcalfe）于1973年提出，用于连接一组计算机。

co0t·2025-03-30 03:39

python 大模型处理的常见问答，知识蒸馏，数据增强，大模型funtuning，大模型训练

一、知识蒸馏的过程知识蒸馏是指将一个复杂的模型或系统的知识压缩成一个更简单的模型或系统的过程。下面是知识蒸馏的一般步骤：1.选择源模型：选择一个复杂的源模型，通常是一个在某个任务上表现出色的模型。

医学小达人·2025-03-29 23:41

2025年大模型学习路线：神仙级教程无私分享，助你成为AI领域高手！大模型学习路线就看这一篇就够了！

学习资料书籍：GilbertStrang，《线性代数及其应用》SheldonRoss，《概率论与随机过程》在线课程：KhanAcade

大模型入门教程·2025-03-29 21:32

合成数据立功！AccVideo实现高质量视频生成、速度飙升8. 5倍

该方法通过一种新颖高效的蒸馏方法，并结合合成数据集，成功将视频扩散模型的生成速度提升了惊人的8.5倍。现有的视频扩散模型在生成高质量视频方面表现出

吴脑的键客·2025-03-29 15:47

大语言模型在生成文章摘要、新闻标题领域的应用

例如，基于Transformer的模型（如BERT、GPT）通过注意力机制捕捉长距离依赖关系，显著提升了摘

knightissocool·2025-03-29 03:21

【拥抱AI】对比embedding模型gte-Qwen2-7B-instruct和bge-m3:latest(三)

bge-m3:latest架构：基于BERT

奔跑草-·2025-03-28 14:22

Sentence-BERT模型的句子级语义相似

目录一、前言二、Sentence-BERT原理介绍2.1、BERT模型介绍(1)、预测遮住的单词(2)、预测下一个句子2.2、Sentence-BERT原理三、Sentence-BERT模型应用3.1、

DreamBoy_W.W.Y·2025-03-28 10:20

神秘的图像进化：单GPU扩散蒸馏中的相对与绝对位置匹配之谜

HighQualityDiffusionDistillationonaSingleGPUwithRelativeandAbsolutePositionMatching”的论文，为我们展示了一种在单个GPU上也能完成高质量扩散蒸馏的惊艳方法

步子哥·2025-03-28 07:26

工单分类总结

微调BERT-base模型，构建层次化分类器，Top-3准确率达97.2%，并自动识别出问题的关键类别1.具体微调的BERT-base模型是什么模型？

Trank-Lw·2025-03-28 05:41

推荐频道

BERT蒸馏