transformer论文阅读第90页

Android viewPager2实现画廊效果

直接上代码publicclassScaleAlphaPageTransformerimplementsViewPager2.PageTransformer{publicstaticfinalfloatMAX_SCALE

LW帝国余辉·2023-08-25 14:26

LLM（大语言模型）解码时是怎么生成文本的？

Part1配置及参数transformers==4.28.1源码地址：transformers/configuration_utils.pyatv4.28.1·huggingface/transformers

supeerzdj·2023-08-25 13:30

AI开源大模型的特点和优势

1.GPT-3（GenerativePre-trainedTransformer3）：特点：由OpenAI开发的最大型自然语言处理模型，具有1750亿个参数。能够生成高质量的文本、回答

defdsdddev·2023-08-25 12:39

BERT大火却不懂Transformer？读这一篇就够了

而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了STOA效果。Transformer改进了RNN最被人诟病的训练慢

城市中迷途小书童·2023-08-25 12:15

超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据

1.简介目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案；数据：从开源社区，整理了海量的训练数据

·2023-08-25 11:36

全套解决方案：中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！

全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！

·2023-08-25 11:34

超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据

1.简介目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案；数据：从开源社区，整理了海量的训练数据

·2023-08-25 11:34

微调llama2模型教程：创建自己的Python代码生成器

在标准的transformer体系结构上，使用RMSNo

·2023-08-25 11:34

从零实现深度学习框架——Transformer从菜鸟到高手(二)

上篇文章中我们介绍了多头注意力，本文我们来了解TransformerEncoder模块剩下的组件，即残差连接、层归一化和前馈网络层。Transformer架构图1.Transformer架构图

愤怒的可乐·2023-08-25 09:49

VIT 论文精读 | transformer架构引入CV的开创性工作

目录目录1.背景2.方法2.1怎么把2D图像变成1D序列输入到transformer中像素？先提取特征图？

Qodi·2023-08-25 09:47

Attention is all you need

Abstract本文中提出了transformer模型，完全依靠attention机制，没有使用循环网络或者卷积网络。Transformer在训练中可以更好的并行化，并且需要更少的训练时间。

黄昏贩卖机·2023-08-25 08:10

【LLM大模型】模型和指令微调方法

noteHuggingFace的PEFT是一个库（LoRA是其支持的技术之一，除此之外还有PrefixTuning、P-Tuning、PromptTuning），可以让你使用各种基于Transformer

u013250861·2023-08-25 07:16

LLaMA细节与代码解析

0.简介1.项目环境依赖2.模型细节2.1RMSPre-Norm2.2SwiGLU激活函数2.3RoPE旋转位置编码3.代码解读3.1tokenizer3.2model3.2.1模型细节详解3.2.2transformer

AI生成式曾小健2·2023-08-25 07:44

【多目标跟踪】Transtrack 单句翻译耗时3天！！！

Transtrack：MultipleObjectTrackingwithTransformer[2021]Abstractnthiswork,weproposeTransTrack,asimplebutef-ficientschemetosolvethemultipleobjecttrackingprob-lems.TransTrackleveragesthetransformerarchite

小胡的博客号Aoife艺馨·2023-08-25 07:47

Flutter Cannot run with sound null safety, because the following dependencies

becausethefollowingdependenciesdon'tsupportnullsafety:-package:flutter_swiper-package:flutter_page_indicator-package:transformer

---月亮☽·2023-08-25 06:45

论文阅读 Better to Follow, Follow to Be Better: Towards Precise Supervision of Feature Super-Resolution

文章目录BettertoFollow,FollowtoBeBetter:TowardsPreciseSupervisionofFeatureSuper-ResolutionforSmallObjectDetectionAbstract1.Introduction2.RelatedWork3.MismatchofRelativeReceptiveFields4.OurApproach4.1.Supe

Re-赟·2023-08-25 05:58

论文阅读 CAD-Net: A Context-Aware Detection Network for Objects in Remote Sensing Imagery

文章目录CAD-Net:AContext-AwareDetectionNetworkforObjectsinRemoteSensingImageryAbstractI.INTRODUCTIONII.RELATEDWORKIII.PROPOSEDMETHODA.LeveragingContextualInformationB.Spatial-and-Scale-AwareAttentionModul

Re-赟·2023-08-25 05:57

论文阅读 FOCUS-AND-DETECT: A SMALL OBJECT DETECTION FRAMEWORK FOR AERIAL IMAGES

文章目录FOCUS-AND-DETECT:ASMALLOBJECTDETECTIONFRAMEWORKFORAERIALIMAGESABSTRACT1Introduction2RelatedWork3Focus-and-Detect3.1Overview3.2FocusStage3.2.1GeneratingGround-TruthBoxesofFocalRegionsUsingGaussianM

Re-赟·2023-08-25 05:52

The Surprising Effectiveness of Visual Odometry Techniques for Embodied PointGoal Navigation 论文阅读

论文信息标题：TheSurprisingEffectivenessofVisualOdometryTechniquesforEmbodiedPointGoalNavigation作者：XiaomingZhao,HarshAgrawal来源：ICCV时间：2021项目地址：https://xiaoming-zhao.github.io/projects/pointnav-vo/Abstract个人机

玛卡巴卡_qin·2023-08-25 03:21

HuNavSim: a ROS 2 human navigation simulator for benchmarking human-aware robot navigation 论文阅读

论文信息题目：HuNavSimAROS2HumanNavigationSimulatorforBenchmarkingHuman-AwareRobotNavigation作者：NoéPérez-Higueras，andRobertoOtero来源：arXiv时间：2023工程地址：https://github.com/robotics-upo/hunav_simAbstract这项工作提出了人类导

玛卡巴卡_qin·2023-08-25 03:51

OVRL-V2: A simple state-of-art baseline for IMAGENAV and OBJECTNAV 论文阅读

论文信息题目：OVRL-V2:Asimplestate-of-artbaselineforIMAGENAVandOBJECTNAV作者:KarmeshYadav，ArjunMajumdar，RamRamrakhya来源：arxiv时间：2023代码地址：https://github.com/ykarmesh/OVRLAbstract我们提出了一个由与任务无关的组件（ViT、卷积和LSTM）组成的单

玛卡巴卡_qin·2023-08-25 03:50

使用阿里云微调chatglm2

1691571940&download=true#%%[markdown]##微调前#%%model_path="/mnt/workspace/ChatGLM2-6B/chatglm2-6b"fromtransformersimportAutoTokenizer

movie__movie·2023-08-25 00:28

基于paddleocr的文档识别

前处理：DocTr:DocumentImageTransformerforGeometricUnwarpingandIlluminationCorrection（1）几何矫正给定一张存在几何和光照畸变的文档图像

博观而约取,厚积而薄发·2023-08-24 22:57

ViT笔记

CNN归纳偏置（inductivebias)1、平移不变性：平移旋转缩放等变化，CNN依旧能够识别2、空间局部性：局部像素联系密切，因此每个神经元无需有全局感知，在更高层将局部信息综合起来基于Transformer

博观而约取,厚积而薄发·2023-08-24 22:27

笔记：transformer系列

2、输入特点原生的Transformer中

博观而约取,厚积而薄发·2023-08-24 22:26

Scalable Diffusion Models with Transformers

ScalableDiffusionModelswithTransformers论文地址：https://arxiv.org/pdf/2212.09748.pdf项目地址：https://github.com

通街市密人有·2023-08-24 21:44

【论文阅读】定制化diffusion微调: DreamBooth原理

论文：DreamBooth:FineTuningText-to-ImageDiffusionModelsforSubject-DrivenGeneration项目：DreamBooth:FineTuningText-to-ImageDiffusionModelsforSubject-DrivenGeneration代码：Dreambooth-Stable-Diffusion1.任务简介当前的文生图

orangerfun·2023-08-24 20:09

【论文阅读】自动驾驶安全的研究现状与挑战

文章目录摘要1.引言1.1.自动驾驶安全1.2.攻击面1.3.内容和路线图2.自动驾驶技术2.1.组成2.2.技术3.传感器安全3.1.照相机3.2.GNSS（全球导航系统）/IMU（惯性测量单元）3.3.超声波传感器3.4.毫米波雷达3.5.激光雷达3.6.多传感器交叉验证3.7.传感器故障4.操作系统安全4.1.早期移动机器人操作系统4.2.ROS4.3.ROS的安全性4.4.ROS2的安全性

AISecurity盐究员·2023-08-24 19:54

Invariant grounding for video question answering 论文阅读

论文地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Li_Invariant_Grounding_for_Video_Question_Answering_CVPR_2022_paper.pdf代码地址：https://github.com/yl3800/IGVCVPR2022论文，新加坡国立大学，中国科学技术大学摘要视频问答(Vi

魔法少女玛格姬·2023-08-24 17:08

使用 T5 模型来做文本分类任务的一些总结

optimizerandscheduler)学习率设置完整训练代码ReferenceT5paper：ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformerT5

friedrichor·2023-08-24 15:58

《SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection》论文阅读理解

《SQUID:DeepFeatureIn-PaintingforUnsupervisedAnomalyDetection》论文阅读理解领域：用于医学图像的异常检测论文地址：SQUID:DeepFeatureIn-PaintingforUnsupervisedAnomalyDetection

wyypersist·2023-08-24 09:11

DETR-《End-to-End Object Detection with Transformers》论文精读笔记

DETR（基于Transformer架构的目标检测方法开山之作）End-to-EndObjectDetectionwithTransformers参考：跟着李沐学AI-DETR论文精读【论文精读】摘要在摘要部分作者

wyypersist·2023-08-24 09:37

【RT-DETR】《DETRs Beat YOLOs on Real-time Object Detection》译读笔记

DETRsBeatYOLOsonReal-timeObjectDetection摘要近期，基于端到端的transformer-based的检测器（DETRs）取得了卓越的性能。

songyuc·2023-08-24 06:12

DETRs with Hybrid Matching

改进算法论文链接：https://arxiv.org/pdf/2207.13080.pdf源码链接：https://github.com/HDETR/H-Deformable-DETR简介基于DEtectionTRansformer

qgh1223·2023-08-24 06:11

DETRs Beat YOLOs on Real-time Object Detection论文详解

arxiv.org/abs/2304.08069论文代码：mirrors/facebookresearch/ConvNeXt·GitCode等我毕业再打败吧，别打败YOLO，广大研究生们不同意1.摘要最近，基于端到端Transformer

思艺妄为·2023-08-24 06:10

OnnxRuntime部署SwinTransformer

一、概述实测SwinTransformer真的是涨点神器，刷榜秘籍，用SwinTransformer作为模型主干网络来微调下游任务对比ResNet50保守能够带来2~5个点的提升，当然模型参数量是大了点

RunningJiang·2023-08-24 04:31

ChatGPT对于留学生带来了哪些影响？留学生又应该如何使用？

2022年11月，人工智能（AI）工具ChatGPT（"ChatGenerativePre-TrainedTransformer"）由OpenAI发布，社交媒体上的兴奋点很快随之而来。

Do1twell·2023-08-24 02:10

LeViT-UNet：transformer 编码器和CNN解码器的有效整合

levi-unet[2]是一种新的医学图像分割架构，它使用transformer作为编码器，这使得它能够更有效地学习远程依赖关系。

·2023-08-23 23:36

在Transformers 中使用约束波束搜索引导文本生成

引言本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文如何生成文本:通过Transformers用不同的解码方法生成文本。

·2023-08-23 23:05

使用 Transformers 为多语种语音识别任务微调 Whisper 模型

本文提供了一个使用HuggingFaceTransformers在任意多语种语音识别(ASR)数据集上微调Whisper的分步指南。

·2023-08-23 23:05

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

重磅更新TransformersAgents发布，通过自然语言控制超过十多万个HF模型！近期，我们发布了一个非常“大胆”的新特性:Transfo

·2023-08-23 23:05

RWKV – transformer 与 RNN 的强强联合

自Vaswani等人于2017年首次提出AttentionIsAllYouNeed之后，基于transformer的强大的模型一直在不断地涌现，它们在NLP相关任务上的表现远远超过基于RNN(Recu

·2023-08-23 23:34

背景 | 基于 Transformers 的编码器-解码器模型

pipinstalltransformers==4.2.1!

·2023-08-23 23:34

编码器-解码器 | 基于 Transformers 的编码器-解码器模型

基于transformer的编码器-解码器模型是表征学习和模型架构这两个领域多年研究成果的结晶。

·2023-08-23 23:34

Blockwise Parallel Transformer for Long Context Large Models

本文是LLM系列文章，针对《BlockwiseParallelTransformerforLongContextLargeModels》的翻译。

UnknownBody·2023-08-23 22:15

Birth of a Transformer: A Memory Viewpoint

本文是LLM系列的文章，针对《BirthofaTransformer:AMemoryViewpoint》的翻译。

UnknownBody·2023-08-23 22:44

To Learn

TVisionTransformer超详细解读(原理分析+代码解读)(十七)-知乎本系列已授权极市平台，未经允许不得二次转载，如有需要请私信作者。

FlyingAnt_·2023-08-23 20:04

FlashAttention燃爆显存，Transformer上下文长度史诗级提升

继超快且省内存的注意力算法FlashAttention爆火后，升级版的2代来了。FlashAttention-2是一种从头编写的算法，可以加快注意力并减少其内存占用，且没有任何近似值。比起第一代，FlashAttention-2速度提升了2倍。甚至，相较于PyTorch的标准注意力，其运行速度最高可达9倍。一年前，StanfordAILab博士TriDao发布了FlashAttention，让注意

qq_41771998·2023-08-23 20:55

通俗易懂的GPT原理简介

GPT全称为GenerativePre-trainedTransformer，是一种基于Transformer模型的预训练语言模型。在接下来的文章中，我们将详细介绍GPT的原理。

qq_41771998·2023-08-23 20:25

期刊：Computers in Biology and Medicine

文章目录MedViT:ARobustVisionTransformerforGeneralizedMedicalImageClassification实验结果ALiegroupkernellearningmethodformedicalimageclassificationMedViT

小杨小杨1·2023-08-23 18:52

推荐频道

transformer论文阅读

Android viewPager2实现画廊效果

LLM（大语言模型）解码时是怎么生成文本的？

AI开源大模型的特点和优势

BERT大火却不懂Transformer？读这一篇就够了

超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据

全套解决方案：中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！

超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据

微调llama2模型教程：创建自己的Python代码生成器

从零实现深度学习框架——Transformer从菜鸟到高手(二)

VIT 论文精读 | transformer架构引入CV的开创性工作

Attention is all you need

【LLM大模型】模型和指令微调方法

LLaMA细节与代码解析

【多目标跟踪】Transtrack 单句翻译 耗时3天！！！

Flutter Cannot run with sound null safety, because the following dependencies

论文阅读 Better to Follow, Follow to Be Better: Towards Precise Supervision of Feature Super-Resolution

论文阅读 CAD-Net: A Context-Aware Detection Network for Objects in Remote Sensing Imagery

论文阅读 FOCUS-AND-DETECT: A SMALL OBJECT DETECTION FRAMEWORK FOR AERIAL IMAGES

The Surprising Effectiveness of Visual Odometry Techniques for Embodied PointGoal Navigation 论文阅读

HuNavSim: a ROS 2 human navigation simulator for benchmarking human-aware robot navigation 论文阅读

OVRL-V2: A simple state-of-art baseline for IMAGENAV and OBJECTNAV 论文阅读

使用阿里云微调chatglm2

基于paddleocr的文档识别

ViT笔记

笔记：transformer系列

Scalable Diffusion Models with Transformers

【论文阅读】定制化diffusion微调: DreamBooth原理

【论文阅读】自动驾驶安全的研究现状与挑战

Invariant grounding for video question answering 论文阅读

使用 T5 模型来做文本分类任务的一些总结

《SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection》论文阅读理解

DETR-《End-to-End Object Detection with Transformers》论文精读笔记

【RT-DETR】《DETRs Beat YOLOs on Real-time Object Detection》译读笔记

DETRs with Hybrid Matching

DETRs Beat YOLOs on Real-time Object Detection论文详解

OnnxRuntime部署SwinTransformer

ChatGPT对于留学生带来了哪些影响？留学生又应该如何使用？

LeViT-UNet：transformer 编码器和CNN解码器的有效整合

在Transformers 中使用约束波束搜索引导文本生成

使用 Transformers 为多语种语音识别任务微调 Whisper 模型

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

RWKV – transformer 与 RNN 的强强联合

背景 | 基于 Transformers 的编码器-解码器模型

编码器-解码器 | 基于 Transformers 的编码器-解码器模型

Blockwise Parallel Transformer for Long Context Large Models

Birth of a Transformer: A Memory Viewpoint

To Learn

FlashAttention燃爆显存，Transformer上下文长度史诗级提升

通俗易懂的GPT原理简介

期刊：Computers in Biology and Medicine

【多目标跟踪】Transtrack 单句翻译耗时3天！！！