TRANSFORMER 第27页

【论文解读】ICLR 2024高分作：ViT需要寄存器

来源：投稿作者：橡皮编辑：学姐论文链接：https://arxiv.org/abs/2309.16588摘要：Transformer最近已成为学习视觉表示的强大工具。

深度之眼·2023-12-15 15:29

使用 PyTorch FSDP 微调 Llama 2 70B

在此过程中，我们主要会用到HuggingFaceTransformers、Accelerate和TRL库。我们还将展示如何在SLURM中使用Accelerate。

Python算法实战·2023-12-15 13:46

使用 PyTorch FSDP 微调 Llama 2 70B

在此过程中，我们主要会用到HuggingFaceTransformers、Accelerate和TRL库。我们还将展示如何在SLURM中使用Accelerate。

Hugging Face·2023-12-15 12:35

T5论文个人记录

—T5_谷歌大模型_深度之眼的博客-CSDN博客T5和mT5-CSDN博客T5：ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformer

小趴菜日记·2023-12-15 10:07

huggingface transformers框架个人记录

预备工作创建虚拟环境：condacreate-nmyenv#创建condaactivatemyenv#激活安装transformers包pipinstallgit+https://github.com/

小趴菜日记·2023-12-15 10:37

Transformer代码理解（注释版本）

原文链接http://nlp.seas.harvard.edu/annotated-transformer/#!

小趴菜日记·2023-12-15 10:37

【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models

Codeforloralib,animplementationof"LoRA:Low-RankAdaptationofLargeLanguageModels"做法：把预训练LLMs里面的参数权重给冻结；向transformer

李加号pluuuus·2023-12-15 09:32

ETH研究团队提出简化版Transformer模型，综合效率明显提升

论文题目：SimplifyingTransformerBlocks论文链接：https://arxiv.org/abs/2311.019062023年，Transformer已经成为人工智能领域中最受欢迎的基础模型

TechBeat人工智能社区·2023-12-15 07:46

回顾2022年计算机视觉领域最激动人心的进展

计算机视觉趋势1.Transformer统治计算机视觉Transformer模型在2017年在AttentionisAllYouNeed论文中被提出，之后广泛用于深度学习领

风度78·2023-12-15 05:53

特斯拉FSD入华在即，本土智驾公司开启BEV架构对决

如今BEV+Transformer已经成为主流的自动驾驶技术路径，也是众多车企关注的核心能力

HiEV·2023-12-15 03:13

【论文笔记】Gemini: A Family of Highly Capable Multimodal Models——细看Gemini

Gemini【一句话总结，对标GPT4，模型还是transformer的docoder部分，提出三个不同版本的Gemini模型，Ultra的最牛逼，Nano的可以用在手机上。】

Yulki·2023-12-15 01:40

AIGC专题报告：ChatGPT纪要分享

（报告出品方：久谦中台）报告共计：135页OpenAI高管解密ChatGPT¶GPT-3是一种大型语言模型，被训练用来在给定上下文中预测下一个单词，使用Transformer架构1它很灵活，可以用于翻译

人工智能学派·2023-12-15 00:15

大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署，最小2GB显存可跑，并利用两种文本流式方式输出

Qwen-1.8B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、

微学AI·2023-12-14 21:01

Transformer

Transformer是深度学习领域的一种重要模型架构，由Google的研究人员于2017年提出。

wangqiaowq·2023-12-14 21:34

003 FeedForward前馈层

一、环境本文使用环境为：Windows10Python3.9.17torch1.13.1+cu117torchvision0.14.1+cu117二、前馈层原理Transformer模型中的前馈层（FeedForwardLayer

韩师兄_·2023-12-14 21:00

用 C 写一个卷积神经网络

用C写一个卷积神经网络深度学习领域最近发展很快，前一段时间读transformer论文《AttentionIsAllYouNeed》时，被一些神经网络和深度学习的概念搞得云里雾里，其实也根本没读懂。

zerok775·2023-12-14 21:37

YoloV8改进策略：Gold-YOLO高效目标检测器与YoloV8激情碰撞

静静AI学堂·2023-12-14 20:36

ViTDet论文笔记

arxiv：https://arxiv.org/abs/2203.16527GitHub：https://github.com/ViTAE-Transformer/ViTDet摘要本文提出使用plain

hello_dear_you·2023-12-14 18:11

ChatGPT的常识

ChatGPT是一个基于GPT模型的聊天机器人，GPT即“GenerativePre-trainingTransformer”，是一种预训练的语言模型。

小楼先森·2023-12-14 16:28

gpt3、gpt2与gpt1区别

One-shotLearning-CSDN博客Zero-shot（零次学习）简介-CSDN博客GPT1、GPT2、GPT3、InstructGPT-CSDN博客目录gpt2与gpt1区别：gpt3与gpt2区别：GPT-2模型由多层单向transformer

小趴菜日记·2023-12-14 15:06

谷歌发布最强AI大模型Gemini（超越chatgpt4）

此次谷歌发布的Gemini模型可实现多模态，性能大幅提升，Gemini是基于Transformerdecoder构建的多模态模型，这种技术能够处理视频、音频和文本等不同内容形式的信息。

智慧医疗探索者·2023-12-14 14:48

HAT（CVPR 2023）：Hybrid Attention Transformer for Image Restoration

HAT论文地址：HAT:HybridAttentionTransformerforImageRestoration代码地址：XPixelGroup/HAT:CVPR2023-ActivatingMorePixelsinImageSuper-ResolutionTransformer

Miracle Fan·2023-12-14 13:47

EMT（light sr）：Efficient Mixed Transformer for Single Image Super-Resolution

EMT论文地址：EfficientMixedTransformerforSingleImageSuper-Resolution代码地址：Fried-Rice-Lab/EMT:EfficientMixedTransformerforSingleImageSuper-Resolution

Miracle Fan·2023-12-14 13:47

SwinIR: Image Restoration Using Swin Transformer

SwinIR简介论文地址：SwinIR:ImageRestorationUsingSwinTransformer代码：SwinIR本文提出了一个基于swintransformer的图像超分模型swinIR

Miracle Fan·2023-12-14 12:53

用于 ChatGPT 的 FPGA 加速大型语言模型

大型语言模型通常使用深度学习技术构建，特别是使用Transformer架构。Transformer是一种神经网络模型，擅长捕获序列中的长

FPGA技术联盟·2023-12-14 12:00

【起草】章节 1-1 介绍 ChatGPT 的基本概念和工作原理

ChatGPT（GenerativePre-trainedTransformer）是一种基于深度学习的语言模型，由OpenAI开发。

数字化转型2025·2023-12-14 12:44

模型微调技术

尤其是LoRA，它在Transformer架构的每一层中注入可训练的秩分解矩阵，从而大大减少了下游任务的可训练参数数量。而且，LoRA的表现与完全

LANWENBING·2023-12-06 21:13

chatgpt高效提示

它建立在Transformer架构上，可以处理大量数据并生成高质量的文本。然而，为

顾久~·2023-12-06 19:51

扩散模型学习（三）

TextEncoder）3.UNet4.调度器（Scheduler）5.采样循环三、其他管线1.Img2Img2.In-Painting3.Depth2Image一、StableDiffusion使用首先安装必要的库，transformers

李明朔·2023-12-06 18:51

第30期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2023-12-06 15:50

动能资讯 | 智慧汽车—城市NOA迎爆发

在特斯拉引领的Transformer+Bev架构驱动下，智驾算法趋近于端到端的智驾大模型，使得智能驾驶开始步入城市NOA新时代。消费者认知增强，未来市场空间广阔。

weng13924672287·2023-12-06 09:34

论文阅读：一种通过降低噪声和增强判别信息实现细粒度分类的视觉转换器

论文标题：Avisiontransformerforfine-grainedclassificationbyreducingnoiseandenhancingdiscriminativeinformation

小源0·2023-12-06 06:57

【论文笔记】SCRIPT：Source Code Summarization with Structural Relative Position Guided Transformer

SCRIPT1Introduction2ProposedApproachA.RelativeDistanceWeightedTransformerB.StructuralRPE-InducedTransformerSelf-AttentionSequentialRelativePositionalEncodingASTRelativePositionalEncodingStructuralRPE

Luo_LA·2023-12-06 06:15

AGI = 大模型 + 知识图谱 + 强化学习

例如，GPT-3（GenerativePre-trainedTransformer3）是一个大型的自然语言处理模型，拥有数十亿的参数。

summer_west_fish·2023-12-06 06:13

【论文笔记】A Transformer-based Approach for Source Code Summarization

ATransformer-basedApproachforSourceCodeSummarization1.Introduction2.Approach2.1ArchitectureSelf-AttentionCopyAttention2.2PositionRepresentations

Luo_LA·2023-12-06 06:40

RNN、Seq2Seq、Transformers：NLP 中常用的神经架构简介

循环神经网络是一类神经架构，具有很酷的特性——循环机制——这使得它们成为处理可变长度的顺序数据的自然选择。与标准神经网络不同，RNN可以在接受新输入的同时保留前一层的信息。这是它的工作原理假设我们正在构建一个电子商务聊天机器人，由一个处理文本的RNN和一个预测其背后意图的前馈网络组成。机器人收到这条消息：“嗨！你们这件衬衫有不同颜色吗？”我们有11个单词（11个单词嵌入）作为输入，并且序列被切成标

wouderw·2023-12-06 05:27

【Transformer论文精读系列】（一）如何理解Transformer里的注意力机制？

论文：AttentionIsAllYouNeed参考李沐老师的讲解视频：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili其他参考：超强动画，一步一步深入浅出解释Transformer

HiLittleBoat·2023-12-06 03:46

抑制过拟合——从梯度的角度看LayerNorm的作用

抑制过拟合——从梯度的角度看LayerNorm的作用Normalization的目的LayerNorm&BatchNorm可视化分析LayerNorm分析loss分析梯度在深入探索transformer

征途黯然.·2023-12-06 03:39

Talk | 华为谢恩泽: PixArt-α, 基于Transformer的高质量文本到图像生成扩散模型的快速训练

他与大家分享的主题是:“PixArt-Alpha,基于Transformer的高质量文本到图像生成的扩散模型的快速训练”，介绍了他们团队在基于Transformer的T2I扩散模型PIXART-α的一系列研究成果

TechBeat人工智能社区·2023-12-06 00:43

【读点论文】A survey of the Vision Transformers and its CNN-Transformer based Variants近年来这个方向的文献阅读记录

AsurveyoftheVisionTransformersanditsCNN-TransformerbasedVariantsAbstract视觉Transformer作为卷积神经网络(cnn)的可能替代品

羞儿·2023-12-05 23:02

AI：大语言模型训练方法 - 机器学习

TransformerTransformer是一种深度学习的模型架构，特别适用于自然语言处理任务。

AnyaPapa·2023-12-05 21:25

下载Huggingface Transformer 在苹果M1芯片上（保姆教程，我可以，你也可以）

文章的reference:https://developer.apple.com/metal/tensorflow-plugin/https://www.youtube.com/watch?v=17gDhXU55oU和https://medium.com/@faizififita1/huggingface-installation-on-apple-silicon-2022-m1-pro-max-

小张儿zandau·2023-12-05 19:39

Vision Transformer原理分析

VisionTransformer原理分析VisionTransformer是2021年Google团队提出的将Transformer应用在图像分类的模型，因为其模型简单、效果好、可扩展性强，成为CV领域的里程碑著作

X_Student737·2023-12-05 17:31

transformer没有BN层

传统的Transformer模型中通常不包含BatchNormalization（BN）层。Transformer模型的核心是自注意力机制，由注意力头组成，而不依赖于卷积或全连接层。

不当菜鸡的程序媛·2023-12-05 17:18

transformers tokenizer.encode_plus() 的padding=True踩的坑

转载：transformerstokenizer.encode_pl

不当菜鸡的程序媛·2023-12-05 17:18

ViT

【arxiv2020.10,ICLR2021】ViTAnImageisWorth16x16Words:TransformersforImageRecognitionatScale目录abstractintroViT

Mr.Light·2023-12-05 15:26

Vision Transformer（VIT）原理总结

VIT，文章题名为AnImageisWorth16x16Words:TransformersforImageRecognitionatScale，发表于2020年10月。

白三点·2023-12-05 15:26

SwinTransformer与Vit细节总结

建议通过标题来快速跳转Vit(VisionTransformer)Vit把图片打成了patch，然后过标准的TransformerEncoder，最后用CLStoken来做分类Vit的位置编码作者在文中试了几种方式

taoqick·2023-12-05 15:56

Transformer总结——VIT

1：在attentionisallyouneed文章中，作者提出了多头注意力。注意力公式：dk是K的维度。多头公式：VIT将多头注意力应用到了图像领域，所以具体看一下VIT关于多头注意力的代码实现。classPatchEmbed(nn.Module):def__init__(self,img_size=224,patch_size=16,in_c=3,embed_dim=768,norm_laye

翰墨大人·2023-12-05 15:25

VIT论文介绍

论文链接：戳我Transformer结构原本应用于自然语言处理，本篇希望找到可以在不用CNN情况下使用纯Transformer构架在图像分类任务上使用少量运算资源来训练达到更好的结果。

赵卓不凡·2023-12-05 15:25

推荐频道

TRANSFORMER

【论文解读】ICLR 2024高分作：ViT需要寄存器

使用 PyTorch FSDP 微调 Llama 2 70B

使用 PyTorch FSDP 微调 Llama 2 70B

T5论文个人记录

huggingface transformers框架个人记录

Transformer代码理解（注释版本）

【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models

ETH研究团队提出简化版Transformer模型，综合效率明显提升

回顾2022年计算机视觉领域最激动人心的进展

特斯拉FSD入华在即，本土智驾公司开启BEV架构对决

【论文笔记】Gemini: A Family of Highly Capable Multimodal Models——细看Gemini

AIGC专题报告：ChatGPT纪要分享

大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署，最小2GB显存可跑，并利用两种文本流式方式输出

Transformer

003 FeedForward前馈层

用 C 写一个卷积神经网络

YoloV8改进策略：Gold-YOLO高效目标检测器与YoloV8激情碰撞

ViTDet论文笔记

ChatGPT的常识

gpt3、gpt2与gpt1区别

谷歌发布最强AI大模型Gemini（超越chatgpt4）

HAT（CVPR 2023）：Hybrid Attention Transformer for Image Restoration

EMT（light sr）：Efficient Mixed Transformer for Single Image Super-Resolution

SwinIR: Image Restoration Using Swin Transformer

用于 ChatGPT 的 FPGA 加速大型语言模型

【起草】章节 1-1 介绍 ChatGPT 的基本概念和工作原理

模型微调技术

chatgpt高效提示

扩散模型学习（三）

第30期 | GPTSecurity周报

动能资讯 | 智慧汽车—城市NOA迎爆发

论文阅读：一种通过降低噪声和增强判别信息实现细粒度分类的视觉转换器

【论文笔记】SCRIPT：Source Code Summarization with Structural Relative Position Guided Transformer

AGI = 大模型 + 知识图谱 + 强化学习

【论文笔记】A Transformer-based Approach for Source Code Summarization

RNN、Seq2Seq、Transformers：NLP 中常用的神经架构简介

【Transformer论文精读系列】（一）如何理解Transformer里的注意力机制？

抑制过拟合——从梯度的角度看LayerNorm的作用

Talk | 华为谢恩泽: PixArt-α, 基于Transformer的高质量文本到图像生成扩散模型的快速训练

【读点论文】A survey of the Vision Transformers and its CNN-Transformer based Variants近年来这个方向的文献阅读记录

AI：大语言模型训练方法 - 机器学习

下载Huggingface Transformer 在苹果M1芯片上 （保姆教程，我可以，你也可以）

Vision Transformer原理分析

transformer没有BN层

transformers tokenizer.encode_plus() 的padding=True踩的坑

ViT

Vision Transformer（VIT）原理总结

SwinTransformer与Vit细节总结

Transformer总结——VIT

VIT论文介绍

下载Huggingface Transformer 在苹果M1芯片上（保姆教程，我可以，你也可以）