Bert 第6页

大模型时代的核心引擎——Transformer架构

替代传统RNN/CNN，实现序列数据的全局建模并行计算范式：训练速度较LSTM提升10倍以上层次化表示：通过多层堆叠构建深层语义理解2.现代大模型基石模型参数量核心改进GPT-31750亿纯解码器架构BERT3.4

AI大模型团团·2025-04-21 16:03

Task6 基于深度学习的文本分类3-BERT

Task6基于深度学习的文本分类3-BERTBERT183-NEOWISE(nlp)-tangBERTimportloggingimportrandomimportnumpyasnpimporttorchlogging.basicConfig

weixin_40389169·2025-04-21 09:24

特斯拉Cybertruck：未来智能电动汽车的E/E架构与技术亮点解析

1.以太网的应用与域控制器在特斯拉Cybertruck的E/E架构中，以太网与域控制器（DomainController）配合得相当完美！以太网的带宽高，能确保从传感器到控制器的高效数据传输。

空间机器人·2025-04-21 04:26

再读bert（Bidirectional Encoder Representations from Transformers）

再读BERT，仿佛在数字丛林中邂逅一位古老而智慧的先知。初次相见时，惊叹于它以Transformer架构为罗盘，在预训练与微调的星河中精准导航，打破NLP领域长久以来的迷雾。

watersink·2025-04-19 22:13

浅谈大语言模型（LLM）的微调与部署

大语言模型如GPT、BERT等，通常是在大规模通用语料库上预训练的，具备广泛的语言理解能力。但要在特定任务（如医疗问答、法律文档分析）上表现更好，就需要微调。

云端源想·2025-04-19 11:24

大模型面经之bert和gpt区别

BERT和GPT是自然语言处理（NLP）领域中的两种重要预训练语言模型，它们在多个方面存在显著的区别。以下是对BERT和GPT区别的详细分析。

cv2016_DL·2025-04-18 11:49

DNA、蛋白质、生物语义语言模型的介绍

主要模型概述ProtBERT：专注于蛋白质序列嵌入，支持多种下游任务如序列分类和功能预测。ProtGPT2：利用生成式模型生成高质量的蛋白质序列，适用于新蛋白质设计。

bug开发工程师.·2025-04-18 08:31

城市规划的经济影响与可持续发展

例如，MiriamHortas-Rico和AlbertSolé-Ollé的研究发现

項羽Sama·2025-04-18 00:41

大语言模型（LLM）的训练和推理

一、大语言模型简介大语言模型（如GPT、BERT、LLaMA、Grok等）是基于深度神经网络（主要是Transformer架构）的模型，通过在大规模文本数据上训练，学习语言的统计规律、语义和上下文关系。

爱看烟花的码农·2025-04-17 01:12

BERT - Bert模型框架复现

本节将实现一个基于Transformer架构的BERT模型。

风筝超冷·2025-04-16 12:13

Day08【基于预训练模型分词器实现交互型文本匹配】

基于预训练模型分词器实现交互型文本匹配目标数据准备参数配置数据处理模型构建主程序测试与评估总结目标本文基于预训练模型bert分词器BertTokenizer，将输入的文本以文本对的形式，送入到分词器中得到文本对的词嵌入向量

Mechanotrooper·2025-04-16 12:12

【NLP笔记】预训练+微调范式之OpenAI Transformer、ELMo、ULM-FiT、Bert..

文章目录OpenAITransformerELMoULM-FiTBert基础结构Embedding预训练&微调【原文链接】：BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding

`AllureLove·2025-04-15 18:16

bert-base-chinese模型使用教程

向量编码和向量相似度展示importtorchfromtransformersimportBertTokenizer,BertModelimportnumpyasnpmodel_name="C:/Users

raoxiaoya·2025-04-15 18:16

一起学Hugging Face Transformers（10）- 使用Transformers 库的 Trainer API 进行模型微调

文章目录前言二、环境准备三、数据准备四、模型选择与加载五、数据预处理1.代码2.详细解析3.小结六、微调模型七、模型评估八、保存模型总结前言在自然语言处理（NLP）领域，预训练模型如BERT、GPT等已经展示了其强大的能力

做个天秤座的程序猿·2025-04-15 18:15

BERT - 直接调用transformers.BertModel, BertTokenizerAPI不进行任何微调

本节代码将使用transformers库加载预训练的BERT模型和分词器（Tokenizer），并处理文本输入。

风筝超冷·2025-04-15 17:13

大模型训练、多模态数据处理与融合

一、大模型训练随着硬件和算法的进步，如GPT（GenerativePre-trainedTransformer）系列模型和BERT（BidirectionalE

百度_开发者中心·2025-04-15 15:29

多模态大模型：技术原理与实战多模态大模型对比

多模态大模型、自然语言处理、计算机视觉、音频处理、多模态融合、Transformer、BERT、GPT、DALL-E、CLIP1.背景介绍近年来，人工智能领域取得了令人瞩目的进展，其中多模态大模型(MultimodalLargeLanguageModels

AGI大模型与大数据研究院·2025-04-15 15:54

Python Transformer 库及使用方法

Python中的Transformer库及使用方法一、库的概述HuggingFaceTransformers是自然语言处理（NLP）领域最流行的开源库之一，支持基于Transformer架构的预训练模型（如BERT

学亮编程手记·2025-04-15 08:40

ESP8266温度计项目

includecharauth[]="";//blinker密钥charssid[]="";//WIFIcharpswd[]="";//WIFI密码BlinkerNumberHUMI("humi");BlinkerNumberTE

SeasonedDriverDG·2025-04-15 04:16

知识图谱、对话系统、协同过滤

1.R-BERT用于知识图谱中的关系抽取，关系抽取分为pipeline抽取和联合抽取。pipeline抽取是先试用序列标注模型提取实体，然后实体之间做文本分类任务提取他们之间的关系。

heine162·2025-04-14 23:45

nlp培训重点-5

importjsonimportreimportosimporttorchimportnumpyasnpfromtorch.utils.dataimportDataset,DataLoaderfromtransformersimportBertTokenizer

heine162·2025-04-14 23:44

Transformer 介绍

它由Vaswani等人在2017年论文《AttentionisAllYouNeed》中提出，彻底改变了深度学习的范式，驱动了ChatGPT、BERT、DALL·E等前沿应用的诞生。

爱看烟花的码农·2025-04-14 17:27

BERT - 段嵌入（Segment Embedding）

1.段嵌入（SegmentEmbedding）的作用在BERT模型中，段嵌入的主要作用是区分不同的句子。具体来说：单句任务：所有位置的段嵌入都是0。

风筝超冷·2025-04-14 14:11

（源码）TensorFlow自然语言处理深度解析：从理论到工业级实践

本文是关于另一篇文章TensorFlow自然语言处理深度解析：从理论到工业级实践-CSDN博客的后续，以下是一个完整的、可执行的TensorFlowNLP代码实现，整合了文章中提到的核心技术点（注意力机制、BERT

qq_16226939·2025-04-14 09:09

常见LLM大模型概览与详解

以下是一些常见的大模型的详细介绍，包括LLaMA2、LLaMA3、BLOOM、BERT、Falcon180B、Mistral7B、OpenHermes、GPT-NeoX-20B、Pythia、OpenLLaMA

夏沫の梦·2025-04-14 05:41

php excel 下拉菜单,使用 PHPExcel 遇到的一个问题：下拉列表的数据来源过长时，显示了别的正常的下拉列表的数据来源...

遇到的问题：我们还是先来看手册是怎么说的：ItisimportanttorememberthatanystringparticipatinginanExcelformulaisallowedtobemaximum255characters

weixin_39588983·2025-04-13 08:26

多模态大模型：技术原理与实战微调实战

多模态大模型、微调、自然语言处理、计算机视觉、音频处理、Transformer、BERT、GPT、CLIP、DALL-E1.背景介绍近年来，人工智能领域取得了令人瞩目的进展，其中多模态大模型(MultimodalLargeLanguageModels

AGI大模型与大数据研究院·2025-04-13 00:02

Transformer模型在自然语言处理中的实战应用

基于BERT的文本分类实战：从原理到部署一、Transformer与BERT核心原理Transformer模型通过自注意力机制（Self-Attention）突破了RNN的顺序计算限制，BERT（BidirectionalEncoderRepresentationsfromTransformers

Evaporator Core·2025-04-12 11:47

如何基于BERT模型微调出一个医疗问答的模型

如何基于BERT模型微调出一个医疗问答的模型1.理解BERT模型什么是BERT？

2401_89793006·2025-04-12 05:58

【人工智能】Transformers之Pipeline（一）：音频分类（audio-classification）

目录一、引言二、音频分类（audio-classification）2.1概述2.2技术原理2.2.1Wav2vec2.0模型2.2.1HuBERT模型2.3pipeline参数2.3.1pipeline

LDG_AGI·2025-04-11 21:42

Transformer、BERT以及GPT系列联系

①Transformer使用自注意力机制进行编码和解码，能够处理长序列数据；②BERT使用掩码语言模型和下一句预测任务进行训练，能够在不同的自然语言处理任务中取得良好的效果；③GPT大模型是一种基于自回归模型的语言模型

小裴（碎碎念版）·2025-04-11 14:18

# 基于BERT的文本分类

基于BERT的文本分类项目的实现一、项目背景该文本分类项目主要是情感分析，二分类问题，以下是大致流程及部分代码示例：二、数据集介绍2.1数据集基本信息数据集自定义类型二分类（正面/负面）样本量训练集+验证集

@MrLiu·2025-04-10 20:25

RAG（检索增强生成）系统，提示词（Prompt）表现测试（数据说话）

提示词优秀的核心标准优秀的提示词应显著提升以下指标：维度量化指标测试方法事实一致性Faithfulness(0-1)生成答案与检索内容的一致性（RAGAS）答案相关性AnswerRelevancy(0-1)答案与问题的匹配度（BERT

小赖同学啊·2025-04-09 23:42

Windows Anaconda使用Sentence-BERT获取句子向量

1、安装Anaconda：Anaconda是一个流行的Python数据科学平台，它包含了许多科学计算和数据分析的库，包括transformers和sentence_transformers。虽然不是必需的，但使用Anaconda可以简化环境管理和依赖安装的过程。可以从Anaconda官网下载并安装Anaconda。下载地址：DownloadNow|Anaconda2、创建虚拟环境（推荐）：为了避免

DavidSoCool·2025-04-09 14:07

AI 大模型微调原理深度剖析与源码解读

AI大模型微调原理深度剖析与源码解读本人掘金号，欢迎点击关注：掘金号地址本人公众号，欢迎点击关注：公众号地址一、引言在人工智能领域，大型语言模型（LLMs）如GPT-3、BERT等展现出了强大的语言理解和生成能力

Android 小码蜂·2025-04-09 13:31

聚类算法 ap 聚类谱聚类

AP聚类（AffinityPropagationClustering）是一种基于消息传递的聚类算法，由BrendanJ.Frey和DelbertDueck于2007年提出。

Gsen2819·2025-04-09 06:16

中文语义相似度 + 去除标签后的网页文本（爬虫数据）

模型对比维度模型名称中文优化程度效果（准确性）稳定性（不同文本噪声）对爬虫文本的鲁棒性显存占用shibing624/text2vec-base-chinese✅高⭐⭐⭐⭐⭐⭐⭐⭐✅非常适合<1.5GBuer/sbert-base-chinese-nli

大霸王龙·2025-04-08 22:56

用于预训练BERT的数据集——wiki数据集问题以及存在的其他问题

问题1：出现"fileisnotazipfile"原因是链接已经失效。解决方法：打开下面链接自行下载，需要魔法。下载完解压到特定位置。下载链接：项目首页-Wikitext-2-v1数据包下载:Wikitext-2-v1数据包下载本仓库提供了一份Wikitext-2-v1的标准数据包，方便无法通过亚马逊网址下载的用户获取-GitCode修改load_data_wiki函数中data_dir的路径，如

成为不掉头发的工程师·2025-04-08 04:24

修复AttributeError: BertTokenizerFast has no attribute pad_token

#记录工作在windows系统上部署ChatTTS-OpenVoice这个项目时，遇到：(.venv虚拟环境python3.11.11)AttributeError:BertTokenizerFasthasnoattributepad_token

love530love·2025-04-07 21:43

《AI大模型应知应会100篇》第5篇：大模型发展简史：从BERT到ChatGPT的演进

第5篇：大模型发展简史：从BERT到ChatGPT的演进摘要近年来，人工智能领域最引人注目的进步之一是大模型（LargeLanguageModels,LLMs）的发展。

带娃的IT创业者·2025-04-07 17:50

【自然语言处理】BERT模型

BERT：BidirectionalEncoderRepresentationsfromTransformersBERT是Google于2018年提出的自然语言处理（NLP）模型，它基于Transformer

藓类少女·2025-04-07 00:03

NLP任务之文本分类(情感分析)

目录1加载预训练模型对应的分词器2加载数据集3数据预处理4构建数据加载器DataLoader5定义下游任务模型6测试代码7训练代码#做（中文与英文的）分类任务，Bert模型比较合适，用cls向下游任务传输数据

Hiweir ··2025-04-06 19:57

BERT训练环节（代码实现）

1.代码实现#导包importtorchfromtorchimportnnimportdltools#加载数据需要用到的声明变量batch_size,max_len=1,64#获取训练数据迭代器、词汇表train_iter,vocab=dltools.load_data_wiki(batch_size,max_len)#其余都是二维数组#tokens,segments,valid_lens（一维）

Hiweir ··2025-04-06 19:57

AI大模型入门必备：零基础到精通，一篇神仙级AI大模型教程带你启航！

引言近年来，人工智能（AI）大模型的迅猛发展吸引了广泛关注，如GPT-3、BERT等。它们的强大能力在自然语言处理、图像识别等领域得到了广泛应用。

AGI大模型老王·2025-04-06 02:02

Websphere_liberty 的安装及基本配置

Websphere_liberty——轻量级applicationWebServer准备安装包IMS----agent.installer.linux.gtkLibertycore-------liberty.CORE

｀伪情人·2025-04-05 12:35

# 教你计算模型训练时资源占用

深入解析BERT-Base模型显存占用与优化策略近年来，BERT（BidirectionalEncoderRepresentationsfromTransformers）作为自然语言处理领域的里程碑模型

@MrLiu·2025-04-05 11:24

实现pdf.js批注功能（高亮文本/下划线/导入导出）

Demo地址Demo地址获取方式在：https://demos.libertynlp.com/#/pdfjs-annotation.我仅仅基于pdf.js-dist完成了注释功能的开发，如果你想集成到项目中的话

ElasticPDF-新国产PDF编辑器·2025-04-05 07:31

BERT轻量化探索—模型剪枝（BERT Pruning）—Rasa维度剪枝

由于BERT参数众多，模型庞大，训练与推理速度较慢，在一些实时性要求较高应用场景无法满足需求，最近开始探索BERT轻量化部署BERT轻量化的方式：低精度量化。

PaperAgent·2025-04-04 23:11

Python中LLM的模型轻量化架构：MobileBERT与TinyBERT

在当今的人工智能领域，大型语言模型（LLM）如BERT、GPT等已经成为了自然语言处理（NLP）任务的核心。然而，这些模型通常具有庞大的参数量和计算复杂度，这使得它们在资源受限的设备上部署变得困难。

二进制独立开发·2025-04-04 23:10

Go和Golang语言简介

起源：由Google的RobertGriesemer、RobPike和KenThompson于2007年开始设计，2009年正式发布。

lisw05·2025-04-04 16:54

推荐频道

Bert