transformer论文阅读

第65期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。
云起无垠·2024-08-31 05:26

快速使用transformers的pipeline实现各种深度学习任务

目录引言安装情感分析文本生成文本摘要图片分类实例分割目标检测音频分类自动语音识别视觉问答文档问题回答图文描述引言在这篇中文博客中，我们将深入探讨使用transformers库中的pipeline()函数
E寻数据·2024-08-31 04:54

1-pipeline()函数-transformers-python库

pipeline()函数pipeline()函数是Transformers库中最基本的工具。Transformer模型用于解决各种NLP任务，Transformers库提供了创建和使用这些模型的功能。
Flora-pi·2024-08-31 04:53

Transformer模型整体构建的实现

编码器-解码器结构classEncoderDecoder(nn.Module):def__init__(self,encoder,decoder,source_embedding,target_embedding,generator):"""初始化函数中有5个参数,分别是编码器对象,解码器对象,源数据嵌入函数,目标数据嵌入函数,以及输出部分的类别生成器对象"""super(EncoderDecod
好好学习Py·2024-08-30 22:14

Bert中文预训练模型（Bert-base-chinese）

使用importtorchfromtransformersimportBertTokenizer,BertModel#第一步：离线下载#fromtran
好好学习Py·2024-08-30 22:14

论文阅读瞎记(四) Cascade R-CNN: Delving into High Quality Object Detection 2017

概述在物体检测中1，IOU阈值被用于判定正负样本。在低IOU阈值比如0.5的状态下训练模型经常产生噪音预测，然而检测效果会随着IOU增加而降低。两个主要因素：1.训练时的过拟合，正样本指数消失2.检测器最优IOU与输入假设的不匹配。一个单阶段的物体检测器CascadeR-CNN被提出用于解决这些问题。网络由一个检测序列组成，这些序列训练时会伴随IOU增长从而对FP样本更加有选择性地判别。检测器一个
码大哥·2024-08-30 15:58

Prompt Engineering Concepts

Introduction,ConceptsTextgenerationmodelsgenerationpre-trainedtransformers,GPTforshort.所以呢，前置知识是TransformerAssistants
初梦语雪·2024-08-30 06:59

大模型训练优化方法

本文主要参考HF上的一篇文章：https://huggingface.co/docs/transformers/perf_train_gpu_one，以及笔者在实际训练中的一些经验，给出一些比较实用的方法
少喝冰美式·2024-08-30 05:28

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行
李明朔·2024-08-30 01:27

HuggingFace - linux环境 修改下载默认缓存路径

_使用huggingface下载bert保存在哪里怎么看-CSDN博客Howtochangehuggingfacetransformersdefaultcachedirectory-StackOverflowlinux
如果曾经拥有·2024-08-30 01:53

【多变量输入超前多步预测】基于Transformer的光伏功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、Transformer模型概述二、多变量输入三、超前多步预测四、实现步骤五、优势与挑战优势：挑战：六、结论与展望2运行结果3参考文献4Matlab代码、数据⛳️赠与读者‍做科研
科研_G.E.M.·2024-08-29 21:58

[从0开始AIGC][LLM]：Pre-Norm or Post-Norm？训练效率还是训练效果？

Pre-NormorPost-NormPre-NormorPost-Norm1.什么是Pre-Norm和Post-Norm2.为什么Pre-Norm比Post-Norm易于训练2.1Transformer
Way_X·2024-08-29 05:42

AIGC深度学习教程：Transformer模型中的Position Embedding实现与应用

在进入深度学习领域时，Transformer模型几乎是绕不开的话题，而其中的PositionEmbedding更是关键。
玩AI的小胡子·2024-08-29 05:10

TPAMI 2024 | TransVG++：基于语言条件视觉Transformer的端到端视觉定位

题目：TransVG++:End-to-EndVisualGroundingWithLanguageConditionedVisionTransformerTransVG++：基于语言条件视觉Transformer
小白学视觉·2024-08-29 00:33

【论文阅读】LLM4SGG: Large Language Models for Weakly Supervised Scene Graph Generation

【论文阅读】LLM4SGG:LargeLanguageModelsforWeaklySupervisedSceneGraphGenerationabstract由于全监督方法严重依赖昂贵标注，最近弱监督场景图生成
进击的乔洋·2024-08-28 19:03

论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

论文：Retrieval-AugmentedGenerationforKnowledge-IntensiveNLPTaskscode:https://github.com/huggingface/transformerscode
Ian_Wonder·2024-08-28 18:27

【好书分享第十期】大模型应用解决方案_基于ChatGPT和GPT-4等Transformer架构的自然语言处理（文末送书）

文章目录前言一、内容简介二、作者简介三、目录四、摘录粉丝福利前言在不到4年的时间里，Transformer模型以其强大的性能和创新的思想，迅速在NLP社区崭露头角，打破了过去30年的记录。
屿小夏·2024-08-28 14:56

Python深度学习：构建下一代智能系统

为了帮助广大学员更加深入地学习人工智能领域最近3-5年的新理论与新技术，本文讲解注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer
2401_83402415·2024-08-28 10:04

回归预测|基于鲸鱼优化WOA-Transformer-BiLSTM组合模型的数据回归预测Matlab程序多特征输入单输出

回归预测|基于鲸鱼优化WOA-Transformer-BiLSTM组合模型的数据回归预测Matlab程序多特征输入单输出文章目录前言时序预测|基于鲸鱼优化WOA-Transformer-BiLSTM组合模型的数据时序预测
机器不会学习CL·2024-08-28 02:14

Code Llama: Open Foundation Models for Code论文阅读

整体介绍CodeLlama发布了3款模型，包括基础模型、Python专有模型和指令跟随模型，参数量分别为7B、13B、34B和70B。这些模型在长达16ktokens的序列上训练。都是基于Llama2。作者针对infilling(FIM)、长上下文、指令专门做了微调long-contextfine-tuning(LCFT).codellama细节CodeLlama模型家族初始化:所有CodeLla
yang_daxia·2024-08-27 18:46

讲解如何使用RAG（检索增强生成）和LLM（大语言模型）来构建一个法律咨询网站。

2.环境配置安装必要的Python库：pipinstallopenaifaiss-cpusentence-transformersflask二、设计系统架构整个系统将包括以下几个部分：前端：用户输入问题和上传文件的界面
winfredzhang·2024-08-27 12:44

深度学习学习经验——变换器（Transformer）

变换器（Transformer）变换器（Transformer）是一种用于处理序列数据的深度学习模型，与循环神经网络（RNN）不同，它不依赖于顺序处理数据，而是依靠一种称为注意力机制（AttentionMechanism
Linductor·2024-08-26 19:44

CVPR2024部分研究方向文章梳理（持续更新中）

CVPR2024部分研究方向文章梳理（持续更新中）长尾分布（Long-Tailed）DeiT-LT:DistillationStrikesBackforVisionTransformerTrainingonLong-TailedDatasets
路漫漫独求索·2024-08-26 14:12

【论文阅读】Model Stealing Attacks Against Inductive Graph Neural Networks（2021）

摘要Manyreal-worlddata（真实世界的数据）comeintheformofgraphs（以图片的形式）.Graphneuralnetworks(GNNs图神经网络),anewfamilyofmachinelearning(ML)models,havebeenproposedtofullyleveragegraphdata（充分利用图数据）tobuildpowerfulapplicat
Bosenya12·2024-08-26 12:29

神经网络微调技术全解（02）-针对每种微调技术的具体实施示例（含代码）

python复制代码fromtransformersimportBertModel,AdapterConfig,AdapterModel#加载预训练的BERT模型model=BertModel.from_pretrai
技术与健康·2024-08-26 11:20

深度学习--Transformer和BERT区别详解

Transformer的概念、作用、原理及应用概念Transformer是一种基于注意力机制（AttentionMechanism）的神经网络架构，由Vaswani等人在2017年提出。
Ambition_LAO·2024-08-26 08:36

从零开始大模型开发与微调：有趣的词嵌入

从最初的词袋模型、隐语义模型，到如今的Transformer模型，PLMs在NLP任务中取得了
AGI通用人工智能之禅·2024-08-26 08:33

【机器学习】机器学习与大模型在人工智能领域的融合应用与性能优化新探索

文章目录引言机器学习与大模型的基本概念机器学习概述监督学习无监督学习强化学习大模型概述GPT-3BERTResNetTransformer机器学习与大模型的融合应用自然语言处理文本生成文本分类机器翻译图像识别自动驾驶医学影像分析语音识别智能助手语音转文字大模型性能优化的新探索模型压缩权重剪枝量化知识蒸馏分布式训练数据并行模型并行异步训练高效推理模型裁剪缓存机制专用硬件未来展望跨领域应用智能化系统人
E绵绵·2024-08-26 06:25

小白学大模型——Qwen2理论篇

一、Qwen2架构图二、Qwen2技术修改点TransformerArchitecturewithSwiGLUactivation:不多说，最主流的transformer架构，不变。
fan_fan_feng·2024-08-25 14:41

欺诈文本分类微调（六）：Lora单卡训练

关于训练器，使用transformers库中提供的Trainer类。2.数据准备2.1加载数据导入要使用的基础包。impor
沉下心来学鲁班·2024-08-25 11:27

使用 Hugging Face Transformers 创建文本生成模型

HuggingFaceTransformers是一个流行的Python库，它提供了大量预训练的模型以及API来实现各种自然语言处理任务。
Envyᥫᩣ·2024-08-25 05:47

VIT论文阅读： A Image is Worth 16x16 Words

简介在2024年，大家都知道了transformer的故事，但是在4年前,CNN和Transformer谁才是CV的未来，还没有那么确定。
Undefined游侠·2024-08-24 17:37

【论文阅读】GLiRA: Black-Box Membership Inference Attack via Knowledge Distillation

摘要While（虽然）DeepNeuralNetworks(DNNs)havedemonstratedremarkableperformanceintasksrelatedtoperception（感知）andcontrol（控制）,therearestillseveralunresolvedconcerns（未解决的问题）regardingtheprivacyoftheirtrainingdat
Bosenya12·2024-08-24 16:35

【论文阅读】APMSA: Adversarial Perturbation Against Model Stealing Attacks（2023）

摘要TrainingaDeepLearning(DL)model（训练深度学习模型）requiresproprietarydata（专有数据）andcomputing-intensiveresources（计算密集型资源）.Torecouptheirtrainingcosts（收回训练成本）,amodelprovidercanmonetizeDLmodelsthroughMachineLearni
Bosenya12·2024-08-24 16:04

Google BERT 算法全面分析

一、什么是BERT算法BERT全称是BidirectionalEncoderRepresentationsfromTransformers，BERT算法诞生于2018年，从当时开始就引起了AI界尤其是NLP
云点SEO·2024-08-24 08:44

informer+TCN+通道注意力机制+SSA时间序列模型预测

它是基于Transformer结构的一种改进，主要解决了传统Transformer在处理长序列时计算复杂度高的问题。
成为深度学习高手·2024-08-23 23:12

transformers调用llama的方式

transformers调用llama的使用方式不同版本llama对应的transformers库版本llama2llama3Meta-Llama-3-8B-InstructMeta-Llama-3-8Bllama3.1Meta-Llama
myccver·2024-08-23 13:11

Transformer总结(二)：架构介绍（从seq2seq谈到Transformer架构）

文章目录一、seq2seq应用介绍二、编码器解码器架构2.1流程介绍2.2原理说明三、Transformer整体结构和处理流程3.1Attention机制在seq2seq中的引入3.2比较RNN与自注意力
胡牧之.·2024-08-23 10:19

Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记

ConditionalFlowMatching:Simulation-FreeDynamicOptimalTransport笔记发现问题连续正规化流（CNF）是一种有吸引力的生成式建模技术，但在基于模拟的最大似然训练中受到了限制。解决问题介绍一种新的条件流匹配（CFM)，一种针对CNFs的免模拟训练目标。具有稳定的回归目标，用于扩散模型中的随机流，但享有确定性流模型的有效推断。与扩散模型和CNF目
猪猪想上树·2024-08-23 03:06

AIGC（人工智能生成内容）的底层技术：技术架构、逻辑代码

选择合适的模型架构，如Transformer
熊群·2024-08-22 20:55

什么是ChatGPT

它是基于Transformer架构的，拥有超过350GB的参数，可以进行各种自然语言处理任务，如语音识别、机器翻译、对话生成和问答等。
丨逐风者丨·2024-08-22 20:48

注意力机制在Transformer模型中的原理与应用

很高兴能为您撰写这篇关于"注意力机制在Transformer模型中的原理与应用"的技术博客文章。作为一位世界级的人工智能专家和计算机领域大师,我将以专业、深入、实用的角度来全面探讨这个重要的技术主题。
AGI通用人工智能之禅·2024-08-22 17:36

Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task03笔记

2,深度学习基础：熟悉神经网络、卷积神经网络（CNN）、Transformer等深度学习模型的基本原理。
汪贤阳·2024-08-22 11:30

Transformer模型:Postion Embedding实现

GPT-4o(OpenAI)Transformer模型中的PositionEmbedding（位置编码）是用于在不使用循环神经网络的情况下捕捉序列数据的位置信息的一种方法。
109702008·2024-08-22 10:58

SAXParseException/SAXParseException/XRRuntimeException报错解决

报错信息：org.xhtmlrenderer.util.XRRuntimeException:Can'tloadtheXMLresource(usingTrAXtransformer).org.xml.sax.SAXParseException
charlieshawn·2024-08-22 09:18

曼巴大战变形金刚：号称超越Transformer架构的Mamba架构是什么？

曼巴大战变形金刚：号称超越Transformer架构的Mamba架构是什么？Mamba是一种新兴的深度学习架构，旨在解决长序列数据的建模问题。
Chauvin912·2024-08-22 03:39

开源免费大语言模型（LLMs）排行榜

目录一、模型介绍1.1LLaMA(LargeLanguageModelMetaAI)1.2Falcon1.3Mistral1.4GPT-NeoX1.5Bloom1.6OPT(OpenPre-trainedTransformer
张3蜂·2024-08-21 22:37

百度Ernie大模型是什么？

百度的Ernie模型（EnhancedRepresentationthroughkNowledgeIntegration）是一个基于Transformer架构的预训练语言模型。
会飞的岛格酱·2024-08-21 21:01

大模型的学习 LLaMa和ChatGLM，minichatgpt4

答：Bert的模型由多层双向的Transformer编码器组成，由12层组成，768隐藏单元，12个head，总参数量110M，约1.15亿参数量。
贝猫说python·2024-03-27 07:55

《论文阅读》EmpDG：多分辨率交互式移情对话生成 COLING 2020

《论文阅读》EmpDG：多分辨率交互式移情对话生成COLING2020前言简介模型架构共情生成器交互鉴别器损失函数前言亲身阅读感受分享，细节画图解释，再也不用担心看不懂论文啦~无抄袭，无复制，纯手工敲击键盘
365JHWZGo·2024-03-26 00:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他