transformer论文阅读第5页

【论文阅读33】Deep learning optoacoustic tomography with sparse data

Deeplearningoptoacoustictomographywithsparsedata论文题目：基于稀疏数据的深度学习光声断层扫描论文链接：Deeplearningoptoacoustictomographywithsparsedata|NatureMachineIntelligence代码链接：GitHub-ndavoudi/sparse_artefact_unet数据链接：Data发

弹伦琴的雷登·2024-09-01 18:29

【HuggingFace Transformers】BertIntermediate 和 BertPooler源码解析

BertIntermediate和BertPooler源码解析1.介绍1.1位置与功能1.2相似点与不同点2.源码解析2.1BertIntermediate源码解析2.2BertPooler源码解析1.介绍1.1位置与功能(1)BertIntermediate位置：位于BertLayer的注意力层（BertSelfAttention）和输出层（BertOutput）之间。功能：它执行一个线性变换（

CS_木成河·2024-09-01 17:25

在浏览器上使用transformers.js运行（WebGPU）RMBG-1.4进行抠图（背景移除）

在浏览器上使用transformers.js运行（WebGPU）RMBG-1.4进行抠图（背景移除）说明：首次发表日期：2024-08-28官方Github仓库地址：https://github.com

shizidushu·2024-09-01 17:55

LLM-项目详解（一）：Chinese-LLaMA-Alpaca【transformers/models/llama/modeling_llama.py文件】

u013250861·2024-08-31 22:57

总结：大模型技术栈---算法与原理

word-levelchar-levelsubword-levelBPEWordPieceUniLMSentencePieceByteBPE2.positionencoding绝对位置编码ROPEAliBi相对位置编码Transformer-XLT5

lichunericli·2024-08-31 22:26

《BERT基础教程：Transformer大模型实战》读书笔记

概念BERT，BidirectionalEncoderRepresentationsfromTransformers，多Transformer的双向编码器表示法。

johnny233·2024-08-31 19:39

深度学习项目实践——QQ聊天机器人（transformer）（三）功能实现的方法——NoneBot2插件结构与编写

深度学习项目实践——QQ聊天机器人（transformer）（三）功能实现的方法——NoneBot2插件结构与编写在前两节中，我们详细讲解了QQ聊天的原理、QQ机器人的框架与环境配置的流程。

Linductor·2024-08-31 18:58

YOLOv9独家改进：一种高效移动应用的卷积加性自注意Vision Transformer

本文独家改进：轻量化改进之高效移动应用的卷积加性自注意VisionTransformer，构建了一个新颖且高效实现方式——卷积加性相似度函数，并提出了一种名为卷积加性标记混合器（CATM）的简化方法来降低计算开销

AI小怪兽·2024-08-31 17:28

自己设计一个Transformer模型

Transformer模型在2017年被Google提出，直接基于self-attention结构，不再依赖于RNN、LSTM或者CNN，是一种Seg2Seg模型。

郑不凡·2024-08-31 13:23

巴伦射频变器（Balun RF Transformer）的常规产品通常包括以下几种类型

1:1高频变压器：用于将平衡和非平衡信号进行转换，通常在信号传输和接收电路中使用，如无线通信设备和各种高频电子设备中。1:4高频变压器：主要用于阻抗匹配和信号传输，能够将低阻抗的平衡信号转换为高阻抗的非平衡信号，广泛应用于射频收发器件和天线系统。双平衡变压器：用于同时处理两个平衡信号的变压器，如应用于差分放大器和差分信号处理电路中。4:1高频变压器：类似于1:4变压器，用于信号匹配和转换，将高阻抗

Hqst88888·2024-08-31 08:50

第65期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

云起无垠·2024-08-31 05:26

快速使用transformers的pipeline实现各种深度学习任务

目录引言安装情感分析文本生成文本摘要图片分类实例分割目标检测音频分类自动语音识别视觉问答文档问题回答图文描述引言在这篇中文博客中，我们将深入探讨使用transformers库中的pipeline()函数

E寻数据·2024-08-31 04:54

1-pipeline()函数-transformers-python库

pipeline()函数pipeline()函数是Transformers库中最基本的工具。Transformer模型用于解决各种NLP任务，Transformers库提供了创建和使用这些模型的功能。

Flora-pi·2024-08-31 04:53

Transformer模型整体构建的实现

编码器-解码器结构classEncoderDecoder(nn.Module):def__init__(self,encoder,decoder,source_embedding,target_embedding,generator):"""初始化函数中有5个参数,分别是编码器对象,解码器对象,源数据嵌入函数,目标数据嵌入函数,以及输出部分的类别生成器对象"""super(EncoderDecod

好好学习Py·2024-08-30 22:14

Bert中文预训练模型（Bert-base-chinese）

使用importtorchfromtransformersimportBertTokenizer,BertModel#第一步：离线下载#fromtran

好好学习Py·2024-08-30 22:14

论文阅读瞎记(四) Cascade R-CNN: Delving into High Quality Object Detection 2017

概述在物体检测中1，IOU阈值被用于判定正负样本。在低IOU阈值比如0.5的状态下训练模型经常产生噪音预测，然而检测效果会随着IOU增加而降低。两个主要因素：1.训练时的过拟合，正样本指数消失2.检测器最优IOU与输入假设的不匹配。一个单阶段的物体检测器CascadeR-CNN被提出用于解决这些问题。网络由一个检测序列组成，这些序列训练时会伴随IOU增长从而对FP样本更加有选择性地判别。检测器一个

码大哥·2024-08-30 15:58

Prompt Engineering Concepts

Introduction,ConceptsTextgenerationmodelsgenerationpre-trainedtransformers,GPTforshort.所以呢，前置知识是TransformerAssistants

初梦语雪·2024-08-30 06:59

大模型训练优化方法

本文主要参考HF上的一篇文章：https://huggingface.co/docs/transformers/perf_train_gpu_one，以及笔者在实际训练中的一些经验，给出一些比较实用的方法

少喝冰美式·2024-08-30 05:28

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行

李明朔·2024-08-30 01:27

HuggingFace - linux环境修改下载默认缓存路径

_使用huggingface下载bert保存在哪里怎么看-CSDN博客Howtochangehuggingfacetransformersdefaultcachedirectory-StackOverflowlinux

如果曾经拥有·2024-08-30 01:53

【多变量输入超前多步预测】基于Transformer的光伏功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、Transformer模型概述二、多变量输入三、超前多步预测四、实现步骤五、优势与挑战优势：挑战：六、结论与展望2运行结果3参考文献4Matlab代码、数据⛳️赠与读者‍做科研

科研_G.E.M.·2024-08-29 21:58

[从0开始AIGC][LLM]：Pre-Norm or Post-Norm？训练效率还是训练效果？

Pre-NormorPost-NormPre-NormorPost-Norm1.什么是Pre-Norm和Post-Norm2.为什么Pre-Norm比Post-Norm易于训练2.1Transformer

Way_X·2024-08-29 05:42

AIGC深度学习教程：Transformer模型中的Position Embedding实现与应用

在进入深度学习领域时，Transformer模型几乎是绕不开的话题，而其中的PositionEmbedding更是关键。

玩AI的小胡子·2024-08-29 05:10

TPAMI 2024 | TransVG++：基于语言条件视觉Transformer的端到端视觉定位

题目：TransVG++:End-to-EndVisualGroundingWithLanguageConditionedVisionTransformerTransVG++：基于语言条件视觉Transformer

小白学视觉·2024-08-29 00:33

【论文阅读】LLM4SGG: Large Language Models for Weakly Supervised Scene Graph Generation

【论文阅读】LLM4SGG:LargeLanguageModelsforWeaklySupervisedSceneGraphGenerationabstract由于全监督方法严重依赖昂贵标注，最近弱监督场景图生成

进击的乔洋·2024-08-28 19:03

论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

论文：Retrieval-AugmentedGenerationforKnowledge-IntensiveNLPTaskscode:https://github.com/huggingface/transformerscode

Ian_Wonder·2024-08-28 18:27

【好书分享第十期】大模型应用解决方案_基于ChatGPT和GPT-4等Transformer架构的自然语言处理（文末送书）

文章目录前言一、内容简介二、作者简介三、目录四、摘录粉丝福利前言在不到4年的时间里，Transformer模型以其强大的性能和创新的思想，迅速在NLP社区崭露头角，打破了过去30年的记录。

屿小夏·2024-08-28 14:56

Python深度学习：构建下一代智能系统

为了帮助广大学员更加深入地学习人工智能领域最近3-5年的新理论与新技术，本文讲解注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer

2401_83402415·2024-08-28 10:04

回归预测|基于鲸鱼优化WOA-Transformer-BiLSTM组合模型的数据回归预测Matlab程序多特征输入单输出

回归预测|基于鲸鱼优化WOA-Transformer-BiLSTM组合模型的数据回归预测Matlab程序多特征输入单输出文章目录前言时序预测|基于鲸鱼优化WOA-Transformer-BiLSTM组合模型的数据时序预测

机器不会学习CL·2024-08-28 02:14

Code Llama: Open Foundation Models for Code论文阅读

整体介绍CodeLlama发布了3款模型，包括基础模型、Python专有模型和指令跟随模型，参数量分别为7B、13B、34B和70B。这些模型在长达16ktokens的序列上训练。都是基于Llama2。作者针对infilling(FIM)、长上下文、指令专门做了微调long-contextfine-tuning(LCFT).codellama细节CodeLlama模型家族初始化:所有CodeLla

yang_daxia·2024-08-27 18:46

讲解如何使用RAG（检索增强生成）和LLM（大语言模型）来构建一个法律咨询网站。

2.环境配置安装必要的Python库：pipinstallopenaifaiss-cpusentence-transformersflask二、设计系统架构整个系统将包括以下几个部分：前端：用户输入问题和上传文件的界面

winfredzhang·2024-08-27 12:44

深度学习学习经验——变换器（Transformer）

变换器（Transformer）变换器（Transformer）是一种用于处理序列数据的深度学习模型，与循环神经网络（RNN）不同，它不依赖于顺序处理数据，而是依靠一种称为注意力机制（AttentionMechanism

Linductor·2024-08-26 19:44

CVPR2024部分研究方向文章梳理（持续更新中）

CVPR2024部分研究方向文章梳理（持续更新中）长尾分布（Long-Tailed）DeiT-LT:DistillationStrikesBackforVisionTransformerTrainingonLong-TailedDatasets

路漫漫独求索·2024-08-26 14:12

【论文阅读】Model Stealing Attacks Against Inductive Graph Neural Networks（2021）

摘要Manyreal-worlddata（真实世界的数据）comeintheformofgraphs（以图片的形式）.Graphneuralnetworks(GNNs图神经网络),anewfamilyofmachinelearning(ML)models,havebeenproposedtofullyleveragegraphdata（充分利用图数据）tobuildpowerfulapplicat

Bosenya12·2024-08-26 12:29

神经网络微调技术全解（02）-针对每种微调技术的具体实施示例（含代码）

python复制代码fromtransformersimportBertModel,AdapterConfig,AdapterModel#加载预训练的BERT模型model=BertModel.from_pretrai

技术与健康·2024-08-26 11:20

深度学习--Transformer和BERT区别详解

Transformer的概念、作用、原理及应用概念Transformer是一种基于注意力机制（AttentionMechanism）的神经网络架构，由Vaswani等人在2017年提出。

Ambition_LAO·2024-08-26 08:36

从零开始大模型开发与微调：有趣的词嵌入

从最初的词袋模型、隐语义模型，到如今的Transformer模型，PLMs在NLP任务中取得了

AGI通用人工智能之禅·2024-08-26 08:33

【机器学习】机器学习与大模型在人工智能领域的融合应用与性能优化新探索

文章目录引言机器学习与大模型的基本概念机器学习概述监督学习无监督学习强化学习大模型概述GPT-3BERTResNetTransformer机器学习与大模型的融合应用自然语言处理文本生成文本分类机器翻译图像识别自动驾驶医学影像分析语音识别智能助手语音转文字大模型性能优化的新探索模型压缩权重剪枝量化知识蒸馏分布式训练数据并行模型并行异步训练高效推理模型裁剪缓存机制专用硬件未来展望跨领域应用智能化系统人

E绵绵·2024-08-26 06:25

小白学大模型——Qwen2理论篇

一、Qwen2架构图二、Qwen2技术修改点TransformerArchitecturewithSwiGLUactivation:不多说，最主流的transformer架构，不变。

fan_fan_feng·2024-08-25 14:41

欺诈文本分类微调（六）：Lora单卡训练

关于训练器，使用transformers库中提供的Trainer类。2.数据准备2.1加载数据导入要使用的基础包。impor

沉下心来学鲁班·2024-08-25 11:27

使用 Hugging Face Transformers 创建文本生成模型

HuggingFaceTransformers是一个流行的Python库，它提供了大量预训练的模型以及API来实现各种自然语言处理任务。

Envyᥫᩣ·2024-08-25 05:47

VIT论文阅读： A Image is Worth 16x16 Words

简介在2024年，大家都知道了transformer的故事，但是在4年前,CNN和Transformer谁才是CV的未来，还没有那么确定。

Undefined游侠·2024-08-24 17:37

【论文阅读】GLiRA: Black-Box Membership Inference Attack via Knowledge Distillation

摘要While（虽然）DeepNeuralNetworks(DNNs)havedemonstratedremarkableperformanceintasksrelatedtoperception（感知）andcontrol（控制）,therearestillseveralunresolvedconcerns（未解决的问题）regardingtheprivacyoftheirtrainingdat

Bosenya12·2024-08-24 16:35

【论文阅读】APMSA: Adversarial Perturbation Against Model Stealing Attacks（2023）

摘要TrainingaDeepLearning(DL)model（训练深度学习模型）requiresproprietarydata（专有数据）andcomputing-intensiveresources（计算密集型资源）.Torecouptheirtrainingcosts（收回训练成本）,amodelprovidercanmonetizeDLmodelsthroughMachineLearni

Bosenya12·2024-08-24 16:04

Google BERT 算法全面分析

一、什么是BERT算法BERT全称是BidirectionalEncoderRepresentationsfromTransformers，BERT算法诞生于2018年，从当时开始就引起了AI界尤其是NLP

云点SEO·2024-08-24 08:44

informer+TCN+通道注意力机制+SSA时间序列模型预测

它是基于Transformer结构的一种改进，主要解决了传统Transformer在处理长序列时计算复杂度高的问题。

成为深度学习高手·2024-08-23 23:12

transformers调用llama的方式

transformers调用llama的使用方式不同版本llama对应的transformers库版本llama2llama3Meta-Llama-3-8B-InstructMeta-Llama-3-8Bllama3.1Meta-Llama

myccver·2024-08-23 13:11

Transformer总结(二)：架构介绍（从seq2seq谈到Transformer架构）

文章目录一、seq2seq应用介绍二、编码器解码器架构2.1流程介绍2.2原理说明三、Transformer整体结构和处理流程3.1Attention机制在seq2seq中的引入3.2比较RNN与自注意力

胡牧之.·2024-08-23 10:19

Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记

ConditionalFlowMatching:Simulation-FreeDynamicOptimalTransport笔记发现问题连续正规化流（CNF）是一种有吸引力的生成式建模技术，但在基于模拟的最大似然训练中受到了限制。解决问题介绍一种新的条件流匹配（CFM)，一种针对CNFs的免模拟训练目标。具有稳定的回归目标，用于扩散模型中的随机流，但享有确定性流模型的有效推断。与扩散模型和CNF目

猪猪想上树·2024-08-23 03:06

AIGC（人工智能生成内容）的底层技术：技术架构、逻辑代码

选择合适的模型架构，如Transformer

熊群·2024-08-22 20:55

推荐频道

transformer论文阅读