Transformer论文学习

利用ONNX runtime对transformer模型进行推理加速

模型cross-encoderONNXONNXRuntime(ORT)-onnxruntime[译文]AccelerateyourNLPpipelinesusingHuggingFaceTransformersandONNXRuntime_choose_c
choose_c·2023-11-17 06:59

Stable Diffusion1.5网络结构-超详细原创

目录1Unet1.1详细整体结构1.2缩小版整体结构1.3时间步编码1.4CrossAttnDownBlock2D1.4.1ResnetBlock2D1.4.2Transformer2DModel1.4.2.1BasicTransformerBlock1.4.2.1.1SelfAttention1.4.2.1.2CrossAttention2VAE3CLIP
wu_jiacheng·2023-11-17 01:21

java object toarray_关于java：List.toArray(Object [])性能

listOfBs=(List)CollectionUtils.collect(listOfAs,componentTransformer);但是，最终我需要B的Array而不是List。
王信文·2023-11-17 01:22

Zero-Shot Text-to-Image Generation阅读笔记

Zero-ShotText-to-ImageGeneration方法目标：训练一个Transformers将文本和图像标记作为单个数据流进行自回归建模以往的解决办法：可能性目标倾向于优先考虑像素之间的短程依赖关系建模
小杨小杨1·2023-11-17 00:42

炸裂！Sklearn 的 10 个宝藏级使用方法！

1️.FunctionTransformer虽然Sklearn中有很多内置的预处理操作可以放进pipeline管道，但很多时候并不能满足我们的需求。
Python数据挖掘·2023-11-16 23:41

谷歌内部文件泄漏！谷歌、OpenAI都没有护城河，大模型门槛正被开源踏破！

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信技术交流群转载自：机器之心开源社区的能量是否被低估了？
Amusi（CVer）·2023-11-16 23:06

支持80+编程语言！集成VSCode，HuggingFace代码大模型来了

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信技术交流群转载自：机器之心|编辑：杜伟、马梓文程序员们又有了一款AI代码生成工具。
Amusi（CVer）·2023-11-16 23:06

谷歌新作SPAE：GPT等大语言模型可以通过上下文学习解决视觉任务

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【多模态和Transformer】交流群转载自：机器之心|编辑：小舟LLM的能力还可以发挥到机器学习的更多子领域。
Amusi（CVer）·2023-11-16 23:06

斯坦福最新研究警告：别太迷信大模型涌现能力，那是度量选择的结果

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信技术交流群转载自：机器之心大模型出现后，涌现这一术语开始流行起来，通常表述为在小规模模型中不存在
Amusi（CVer）·2023-11-16 23:35

AI从入门到精通，什么是LLMs大型语言模型？

这种模型通常基于深度学习技术，如循环神经网络（RNN）或变换器（Transformer）。大型语言模型的训练过程通常涉及使用海量的文本数据，例如维基百科、网页内容、书籍和新闻文章等。
AI测评社·2023-11-16 23:29

使用 Hugging Face Transformer 微调 BERT

我们将使用HuggingFaceTransformers训练BERT，还将教BERT分析Arxiv的摘要并将其分类为11个类别之一。为什么微调BERT很重要？
TD程序员·2023-11-16 21:18

Attention is all you need（Transformer）论文阅读笔记

一、背景seq2seq模型（2014年）：https://blog.csdn.net/zyk9916/article/details/118002934Attention模型（2015年）：https://blog.csdn.net/zyk9916/article/details/118498156对于序列建模和转换问题，大量的研究都围绕以RNN为基础的encoder-decoder架构展开。但是
zyk9916·2023-11-16 19:17

[动手学深度学习]注意力机制Transformer学习笔记

动手学深度学习（视频）：68Transformer【动手学深度学习v2】_哔哩哔哩_bilibili动手学深度学习（pdf）：10.7.Transformer—动手学深度学习2.0.0documentation
夏莉莉iy·2023-11-16 19:30

Mistral 7B 比Llama 2更好的开源大模型 （二）

Mistral7B论文学习Mistral7B论文链接https://arxiv.org/abs/2310.06825代码:https://github.com/mistralai/mistral-src
段智华·2023-11-16 17:24

如何用bert做微信公众号自动问答问题

具体思路就是直接用bert的transformer做特征提取，也不finetune，直接把他的输出接着往下面贯，具体如下：1用哈工大训练好的bert，这样程序自动拉pretrainedfromtransformersimportBertTokenizer
wangmarkqi·2023-11-16 15:14

ChatGPT最近被微软内部禁用！GPTs新bug：数据只要两句提示词就能套走。。。

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉和Transformer】交流群扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料
Amusi（CVer）·2023-11-16 15:38

EMNLP 2023 | DeepMind提出大模型In-Context Learning的可解释理论框架

论文链接：https://arxiv.org/abs/2310.1591601.引言此外，作者也提到本文的方法与软提示（soft-prompt）[1]方法类似，soft-prompt也是通过调整大模型内部transformer
TechBeat人工智能社区·2023-11-16 13:22

用Transformer端到端车道形状预测Lane Shape Prediction with Transformers

本文提出的端到段方法可以直接输出车道线的形状参数，transformer可以学习全局信息和车道线独有的结构。引言提出了个数据集ForwardViewLane(FVL)。
Wincher_Fan·2023-11-16 11:39

车道线检测-LSTR-论文学习笔记

论文：《End-to-endLaneShapePredictionwithTransformers》代码：https://github.com/liuruijin17/LSTR地址：https://arxiv.org
tomeasure·2023-11-16 11:35

免费GPT3.5

GPT3.5，全称为GenerativePre-trainedTransformer3.5，是一种基于深度学习的自然语言处理模型。
努力搬砖的NPC·2023-11-16 11:35

车道线检测：LSTR论文解析

车道线检测：End-to-endLaneShapePredictionwithTransformers论文解析1.Abstract2.Introduction3.RelatedWork4.Method4.1
AIRV_Gao·2023-11-16 11:34

深度解读：chatGPT 3.5 (GPT-3.5语言模型)

ChatGPT3.5是OpenAI公司开发的一种自然语言处理模型，是在GPT（GenerativePre-trainedTransformer）模型系列的基础上进行改进和升级而来的。
hibaby_·2023-11-16 11:03

420 FPS！LSTR：端到端实时车道线检测新SOTA！

汽车人原文链接：https://zhuanlan.zhihu.com/p/331892664点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【车道线检测】技术交流群Transformer
自动驾驶之心·2023-11-16 11:32

ICRA 2023 | CurveFormer：基于Transformer的3D车道线检测新网络

作者|erkang编辑|CVer点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群过年休息，有时间做一下3d车道线检测工作的小记，讲讲我们为什么做这个工作。CurveFormer:3DLaneDetectionbyCurvePropagationwithCurveQueriesandAttention,ICRA2023https://arxiv.or
自动驾驶之心·2023-11-16 11:31

C# Onnx LSTR 基于Transformer的端到端实时车道线检测

目录效果模型信息项目代码下载效果端到端实时车道线检测模型信息lstr_360x640.onnxInputs-------------------------name：input_rgbtensor：Float[1,3,360,640]name：input_masktensor：Float[1,1,360,640]-------------------------------------------
天天代码码天天·2023-11-16 11:00

TrOCR：基于Transformer的OCR介绍和使用

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：SovitRath编译：ronghuaiyang导读本文介绍了TrOCR的结构和使用方法，手把手从每一行代码教起。光学字符识别（OCR）在过去几年中出现了一些创新。它对零售、医疗、银行和许多其他行业的影响是巨大的。尽管有着悠久的历史和一些最先进的模型，研究人员仍在不断创新。与深度学习的许多其他领域一样，OCR也看到了transform
ronghuaiyang·2023-11-16 10:42

TrOCR模型微调【基于transformer的光学字符识别】

TrOCR（基于Transformer的光学字符识别）模型是性能最佳的OCR模型之一。在我们之前的文章中，我们分析了它们在单行打印和手写文本上的表现。
新缸中之脑·2023-11-16 10:36

Stable Diffusion (version x.x) 文生图模型实践指南

DALL·E文生图模型实践指南DALL·E2文生图模型实践指南目录1.环境搭建和预训练模型准备环境搭建预训练模型下载2.代码1.环境搭建和预训练模型准备环境搭建pipinstalldiffuserstransformersacceleratescipysafetensors
_Meilinger_·2023-11-16 08:52

论文笔记——BiFormer

Title:BiFormer:VisionTransformerwithBi-LevelRoutingAttentionPaper:https://arxiv.org/pdf/2303.08810.pdfCode
Sciws·2023-11-16 06:56

设计模式之适配器(Adapter)

AdapterWapper接口转换器如果一个类不能直接访问另一个类的时候，中间加一个Adapter转换器就能访问了常见例子:电压转接头java.iojdbc-odbcbridge(不是桥接模式)ASMTransformerjavaio
simpleGq·2023-11-16 01:44

Transformer模型学习笔记

Transformer模型学习笔记前言回顾参考资料解读1.High-level的看一下,transformer大致是个什么样子2.输入语句中词的顺序(PositionalEncoding)3.进入Encoder
valleria·2023-11-16 00:23

RT-DETR算法优化改进：Backbone改进 | EMO，结合 CNN 和 Transformer 的现代倒残差移动模块设计 | ICCV2023

本文独家改进：EMO助力RT-DETR，替换backbone，面向移动端的轻量化网络模型——EMO：反向残差移动块（iRMB），通过堆叠不同层级的iRMB。推荐指数：五星RT-DETR魔术师专栏介绍：https://blog.csdn.net/m0_63774211/category_12497375.html✨✨✨魔改创新RT-DETR引入前沿顶会创新，助力RT-DETR基于ultralytic
AI小怪兽·2023-11-15 22:13

利用 OpenVINO™ 部署 HuggingFace 预训练模型的方法与技巧

通过HuggingFace开源的Transformers,Diffusers库，只需要要调用少量接口函数，入门开发者也可以
英特尔开发人员专区·2023-11-15 22:36

注意力机制、Transformer模型、生成式模型、目标检测算法、图神经网络、强化学习、深度学习模型可解释性与可视化方法等详解

采用“理论讲解+案例实战+动手实操+讨论互动”相结合的方式，抽丝剥茧、深入浅出讲解注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer
小艳加油·2023-11-15 17:41

Python深度学习进阶与应用丨注意力（Attention）机制、Transformer模型、生成式模型、目标检测算法、图神经网络、强化学习详解等

目录第一章注意力（Attention）机制详解第二章Transformer模型详解第三章生成式模型详解第四章目标检测算法详解第五章图神经网络详解第六章强化学习详解第七章深度学习模型可解释性与可视化方法详解更多应用近年来
WangYan2022·2023-11-15 17:00

python图神经网络，注意力机制、Transformer模型、目标检测算法、强化学习等

近年来，伴随着以卷积神经网络（CNN）为代表的深度学习的快速发展，人工智能迈入了第三次发展浪潮，AI技术在各个领域中的应用越来越广泛本文重点为：注意力机制、Transformer模型（BERT、GPT-
xiao5kou4chang6kai4·2023-11-15 17:27

CV计算机视觉每日开源代码Paper with code速览-2023.11.13

【基础网络架构：Transformer】PolyMaX:GeneralDensePredictionwithMaskTransformer论文地址：https://arxiv.org//pdf/2311.05770
CV51·2023-11-15 16:04

Self-Attention真的是必要的吗？微软&中科大提出Sparse MLP，降低计算量的同时提升性能！...

关注公众号，发现CV技术之美▊写在前面Transformer由于其强大的建模能力，目前在计算机视觉领域占据了重要的地位。
我爱计算机视觉·2023-11-15 15:36

自注意力真的是Transformer的必杀技吗？MSRA否认三连！并反手给你扔来一个sMLPNet...

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：happy|转载自：极市平台导读本文构建了一种Attention-free、基于MLP的sMLPNet，主要将MLP模块中的token-mixing替换为稀疏MLP(sparseMLP,sMLP)模块，sMLPNet仅需24M参数即可在ImageNet数据及上取得81.9%top1精度，优于同等大小的CNN与VisionTr
Amusi（CVer）·2023-11-15 15:32

自注意力真的是Transformer的必杀技吗？MSRA否认三连，并反手给你扔来一个sMLPNet

作者丨happy编辑丨极市平台本文原创首发于极市平台公众号，转载请获得授权并标明出处。论文链接：https://arxiv.org/pdf/2109.05422.pdf个人思考自今年5月份MLP-Mixer横冲出世以来，4个月的时间里出来了20+MLP相关的论文，从MLP-Mixer、ResMLP、gMLP到A2-MLP、CCS，再到ViP，MLP相关的结构好像一下被探索到头，自ViP之后的MLP
极市平台·2023-11-15 15:00

sMLP:稀疏全mlp进行高效语言建模

此外gMLP表明，所有mlp都可以在语言建模方面与transformer相匹配，但在下游任务方面仍然落后。所以论文提出了sMLP，通过设计确定性路由和部分预测来解决下游任务方面的问题。
deephub·2023-11-15 15:25

Transformer（二）—— ResNet（残差网络）

Transformer（二）——ResNet（残差网络）一、背景1.1梯度消失/爆炸1.2网络退化(Degradation)二、思路2.1为什么需要更深的网络2.2理想中的深网络表现三、实践和实验效果3.1
深浅卡布星·2023-11-15 14:36

Learning Disentangled Representation Implicitly via Transformer for Occluded Person Re-Identificatio

题目：LearningDisentangledRepresentationImplicitlyviaTransformerforOccludedPersonRe-Identification作者：MengxiJia
二苏旧局吖·2023-11-15 13:47

一文搞懂Transformer

近期Transformer系列模型的出现，增加了CV领域的多样性。但是Transformer这一不同领域的模型对学习者来说需要一个细致的学习过程.下面就是本菜鸟总结学习路线。
不减到100斤不吃锅包肉·2023-11-15 11:26

论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes

本文工作：提出了EmoTx，这是一种基于多模态Transformer的架构，它可以利用视频、多个角色和对话来进行联合预测。通过
WXiujie123456·2023-11-15 10:50

Skywalking流程分析_5(字节码增强)

SkyWalkingAgent.Transformer#transform此方法就是进行字节码增强的过程privatestaticclassTransformerimplementsAgentBuilder.Transformer
星哥的编程之路·2023-11-15 10:02

TT U-Net: Temporal T ransformer U-Net for Motion Artifact Reduction using PAD in Cardiac CT

TTU-Net:使用PseudoAll-phase临床数据集在心脏CT中减少运动伪影的TemporalTransformerU-Net论文链接：https://ieeexplore.ieee.org/document
通街市密人有·2023-11-15 09:24

ViewPager一个卡片层叠效果，记录下计算算法

packagecom.example.testtransformer;importandroid.util.Log;importandroid.view.View;importandroidx.annotation.NonNull
王先生技术栈·2023-11-15 09:17

45 深度学习(九)：transformer

文章目录transformer原理代码的基础准备位置编码Encoderblockmulti-headattentionFeedForward自定义encoderblockDeconderblockEncoderDecodertransformer
Micoreal·2023-11-15 09:44

深度学习实战59-NLP最核心的模型：transformer的搭建与训练过程详解，手把手搭建与跑通

大家好，我是微学AI，今天给大家介绍一下深度学习实战59-NLP最核心的模型：transformer的搭建与训练过程详解，手把手搭建与跑通。
微学AI·2023-11-15 08:25
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他