transformer论文阅读

RT-DETR代码学习笔记（DETRs Beat YOLOs on Real-time Object Detection）

/abs/2304.08069代码地址：GitHub-ultralytics/ultralytics:NEW-YOLOv8inPyTorch>ONNX>OpenVINO>CoreML>TFLite基于Transformer
athrunsunny·2023-11-19 09:10

论文阅读：Auto White-Balance Correction for Mixed-Illuminant Scenes

论文阅读：AutoWhite-BalanceCorrectionforMixed-IlluminantScenes今天介绍一篇混合光照下的自动白平衡的文章Abstract自动白平衡（AWB）是相机ISP
Matrix_11·2023-11-19 09:37

特征缩放和转换以及自定义Transformers（Machine Learning 研习之九）

特征缩放和转换您需要应用于数据的最重要的转换之一是功能扩展。除了少数例外，机器学习算法在输入数值属性具有非常不同的尺度时表现不佳。住房数据就是这种情况:房间总数约为6至39320间，而收入中位数仅为0至15间。如果没有任何缩放，大多数模型将倾向于忽略收入中位数，而更多地关注房间数。有两种常见的方法使所有属性具有相同的尺度:最小-最大尺度和标准化。与所有估计器一样，重要的是仅将标量拟合到训练数据:永
甄齐才·2023-11-19 09:50

BN层（Batch Normalization）+LN层（Layer Normalization）高频面试题集合

BN层的参数量手写BNBN为什么能和卷积融合BN在什么情况下能和卷积融合，可以放卷积前面吗BN和LN区别LN的作用，为什么Transformer用LN如何对BN层进行剪枝优点缺点代码实现如果只有一个样本
WZZZ0725·2023-11-19 05:12

为什么Transformer模型中使用Layer Normalization（Layer Norm）而不是Batch Normalization（BN）

有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）博主原文链接：https://www.yourmetaverse.cn/nlp/484/（封面图由文心一格生成）为什么Transformer
Chaos_Wang_·2023-11-19 04:28

NeurIPS-Gold-YOLO: Efficient Object Detector viaGather-and-Distribute Mechanism 论文翻译

论文地址:https://arxiv.org/pdf/2309.11331.pdf目录摘要1介绍2相关研究2.1实时物体检测器2.2基于Transformer的目标检测2.3用于目标检测的多尺度特征3方法
森爱。·2023-11-19 04:50

RT-DETR优化策略：轻量级Backbone改进 | 高效模型 (Efficient MOdel, EMO),现代倒残差移动模块设计|ICCV2023

本文改进：面向移动端的轻量化网络模型——EMO，它能够以相对较低的参数和FLOPs超越了基于CNN/Transformer的SOTA模型，支持四个版本EMO_1M,EMO_2M,EMO_5M,EMO_6M
会AI的学姐·2023-11-19 04:41

LIVE 预告 | 华为诺亚韩凯：Transformer in Transformer

近期，华为诺亚方舟实验室的研究者提出了一种新型视觉Transformer网络架构，TransformerinTransformer，性能表现优于谷歌的ViT和Facebook的DeiT。
智源社区·2023-11-19 04:11

青源 LIVE 预告 | 华为诺亚韩凯：视觉 Transformer 综述

Transformer在视觉领域逐渐发力，并形成一股新的趋势。今年ICCV最佳论文奖（马尔奖）即颁给了Transformer的研究工作。
智源社区·2023-11-19 04:11

microsoft/simMIM-visualize 視覺化(原創)

microsoft/simMIM原碼：https://github.com/microsoft/SimMIM/tree/mainmicrosoft/Swim-Transformer：https://github.com
Ed收藏家·2023-11-19 03:13

新加坡国立大学提出NExT-GPT：「大一统」通用多模态大模型

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【多模态和Transformer】交流群转载自：新智元|编辑：好困【导读】继各类输入端多模态大语言模型之后，新加坡国立大学华人团队近期开源了一种支持任意模态输入和任意模态输出的
Amusi（CVer）·2023-11-19 01:12

YoloV8改进策略：聚焦线性注意力重构YoloV8

文章目录摘要论文《FLattenTransformer:使用聚焦线性注意力的ViT》1、简介2、相关工作2.1VisionTransformer2.2线性注意力3.预备知识3.1.视觉Transformer
静静AI学堂·2023-11-18 23:52

【论文阅读】2736. 最大和查询-2023.11.17

题目：2736.最大和查询给你两个长度为n、下标从0开始的整数数组nums1和nums2，另给你一个下标从1开始的二维数组queries，其中queries[i]=[xi,yi]。对于第i个查询，在所有满足nums1[j]>=xi且nums2[j]>=yi的下标j(0=4且 nums2[j]>=1。nums1[j]+nums2[j]等于6，可以证明6是可以获得的最大值。对于第2个查询：xi=1 且
轩儿毛肚·2023-11-18 23:44

【论文阅读】CTAB-GAN: Effective Table Data Synthesizing

论文地址：[2102.08369]CTAB-GAN:EffectiveTableDataSynthesizing(arxiv.org)介绍虽然数据共享对于知识发展至关重要，但遗憾的是，隐私问题和严格的监管（例如欧洲通用数据保护条例GDPR）限制了其充分发挥作用。合成表格数据作为一种替代方案出现，可在满足监管和隐私约束的同时实现数据共享。最先进的表格数据合成器从生成对抗网络(GAN)中汲取方法论，并
轩儿毛肚·2023-11-18 23:02

【论文阅读】Text2Video-Zero:Text-to-Image Diffusion Models are Zero-Shot Video Generators

文本到图像的扩散模型，零训练的视频生成器。paper：[2303.13439]Text2Video-Zero:Text-to-ImageDiffusionModelsareZero-ShotVideoGenerators(arxiv.org)目录1.介绍2.方法3.扩展4.问题1.介绍动机：基于用户提供的运动姿态、边缘图像、深度图像和Dreambooth模型进行定制化文本视频生成。实现：通过运动动
李加号pluuuus·2023-11-18 23:43

【论文阅读】基于隐蔽带宽的汽车控制网络鲁棒认证（一）

文章目录Abstract第一章引言1.1问题陈述1.2研究假设1.3贡献1.4大纲第二章背景和相关工作2.1CAN安全威胁2.1.1CAN协议设计2.1.2CAN网络攻击2.1.3CAN应用攻击2.2可信执行2.2.1软件认证2.2.2消息身份认证2.2.3可信执行环境2.2.4Sancus2.2.5VulCAN2.3侧信道攻击2.4结论Abstract汽车工业最近的进步为汽车配备了复杂的娱乐和导
人工智能有点·2023-11-18 23:42

（论文阅读40-45）图像描述1

40.文献阅读笔记（m-RNN）简介题目ExplainImageswithMultimodalRecurrentNeuralNetworks作者JunhuaMao,WeiXu,YiYang,JiangWang,AlanL.Yuille,arXiv:1410.1090原文链接http://arxiv.org/pdf/1410.1090.pdf关键词m-RNN、multimodal研究问题研究问题：解
朽月初二·2023-11-18 22:08

【论文阅读】VideoComposer: Compositional Video Synthesis with Motion Controllability

VideoComposer：具有运动可控性的合成视频。paper：[2306.02018]VideoComposer:CompositionalVideoSynthesiswithMotionControllability(arxiv.org)由阿里巴巴研发的可控视频生成框架，可以灵活地使用文本条件、空间条件和时序条件来生成视频，比如使用草图、深度图或运动向量等多个组合条件合成目标视频，极大地提高
李加号pluuuus·2023-11-18 22:28

Go-ansible

AdhocPlaybookExecuteDefaultExecute自定义执行器Optionsansibleadhocandansible-playbookcommonoptionsStdoutCallbackResultsTransformersDefaultJSONManageJSONoutput
shark_西瓜甜·2023-11-18 20:35

YOLOv8-Seg改进：轻量级Backbone改进 | 高效模型 (Efficient MOdel, EMO),现代倒残差移动模块设计 | ICCV2023

本文改进：面向移动端的轻量化网络模型——EMO，它能够以相对较低的参数和FLOPs超越了基于CNN/Transformer的SOTA模型，支持四个版本EMO_1M,EMO_2M,EMO_5M,EMO_6M
会AI的学姐·2023-11-18 19:06

YOLOv8-Seg改进：Backbone改进 |Next-ViT堆栈NCB和NTB 构建先进的CNN-Transformer混合架构

本文改进：Next-ViT堆栈NCB和NTB构建先进的CNN-Transformer混合架构，包括nextvit_small,nextvit_base,nextvit_large，相比较yolov8-seg
会AI的学姐·2023-11-18 19:06

YOLOv8-seg改进：注意力系列篇 | 一种简单有效的可变形的自注意力模块DAT | CVPR 2022

本文改进：DeformableAttentionTransformer，一种简单有效的可变形的自注意力模块，增强sparseattention的表征能⼒；DAT小目标分割&复杂场景首选，实现涨点YOLOv8
会AI的学姐·2023-11-18 19:06

【AI视野·今日NLP 自然语言处理论文速览 第六十三期】Thu, 26 Oct 2023

26Oct2023Totally89papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersLLM-FP4:4-BitFloating-PointQuantizedTransformersAuthorsShihyangLiu
hitrjj·2023-11-18 19:33

YOLOv8改进 | DAttention (DAT)注意力机制实现极限涨点

论文地址：DAT论文地址官方地址：官方代码的地址代码地址：文末有修改了官方代码BUG的代码块复制粘贴即可一、本文介绍本文给大家带来的是YOLOv8改进DAT(VisionTransformerwithDeformableAttention
Snu77·2023-11-18 18:01

论文阅读（1） —— Character Region Awareness for Text Detection

论文地址：https://arxiv.org/abs/1904.01941Pytorch代码实现https://github.com/clovaai/CRAFT-pytorch自制PPT下载地址：https://download.csdn.net/download/weixin_43575791/12322592Introduction（这部分可忽略，暂时为保留完整性写下来。）深度学习出现之前，场
じんじん·2023-11-18 18:20

论文阅读——RetNet

transformer的问题：计算量大，占用内存大，不好部署。所以大家在找能解决办法，既能和transformer表现一样好，又能在推理阶段计算复杂度很低。
じんじん·2023-11-18 18:05

浅谈BERT预训练源码

这里稍微扯一下什么是BERT毕竟不是今天的重点，BERT在模型架构方面沿用了Transformer
CReep~·2023-11-18 17:44

Bert浅谈

优点首先，bert的创新点在于利用了双向transformer，这就跟openai的gpt有区别，gpt是采用单向的transformer，而作者认为双向transformer更能够融合上下文的信息。
lanmengyiyu·2023-11-18 17:04

Skywalking流程分析_6(静态方法的增强流程)

前言在上文中，介绍了SkyWalkingAgent.Transformer#transform方法，分析了：找到对此类匹配的所有插件设置增强上下文标识字节码增强define.define版本查找，类识别和方法识别
星哥的编程之路·2023-11-17 17:57

yolo改进替换VanillaNet backbone

然而，优化的挑战和Transformer模型固有的复杂性要求范式向简单转
athrunsunny·2023-11-17 12:48

智慧汽车—城市NOA迎爆发

在特斯拉引领的Transformer+Bev架构驱动下，智驾算法趋近于端到端的智驾大模型，使得智能驾驶开始步入城市NOA新时代。消费者认知增强，未来市场空间广阔。
Chery1140·2023-11-17 12:21

YOLOV5/YOLOV7/YOLOV8改进：InceptionNeXt: 当 Inception 遇上 ConvNeXt

受Transformer在NLP中成就的影响，研
dg68668·2023-11-17 11:21

利用ONNX runtime对transformer模型进行推理加速

模型cross-encoderONNXONNXRuntime(ORT)-onnxruntime[译文]AccelerateyourNLPpipelinesusingHuggingFaceTransformersandONNXRuntime_choose_c
choose_c·2023-11-17 06:59

论文阅读——Blind Super-Resolution Kernel Estimation using an Internal-GAN

##Absract:超分（SR）方法通常是假设低分辨率图像（LR）是通过固定的、理想的下采样核对未知高分辨率图像（HR）中下采样得到的（如：Bicubicdownscaling）。然而，与合成的超分数据集相比，真实LR图像的退化核是未知的。当假设的下采样核偏离真实核时，SR方法的性能会显著下降。这进一步说明，真正的SR核是在LR图像patch上递归最大化的核，可以理解为多种退化核的组合。作者论文中
小不点爱记录·2023-11-17 05:49

House-GAN 论文阅读

House-GAN:RelationalGenerativeAdversarialNetworksforGraph-constrainedHouseLayoutGeneration摘要关键词简介布局问题相关数据集评估指标假设House-GAN模型房间布局生成器房屋布局判别器：实验评估结果摘要图1：House-GAN是基于关系生成对抗网络的新型图约束房屋布局生成器。气泡图作为输入自动生成多个房屋布局
不务正业的程序媛·2023-11-17 05:47

Stable Diffusion1.5网络结构-超详细原创

目录1Unet1.1详细整体结构1.2缩小版整体结构1.3时间步编码1.4CrossAttnDownBlock2D1.4.1ResnetBlock2D1.4.2Transformer2DModel1.4.2.1BasicTransformerBlock1.4.2.1.1SelfAttention1.4.2.1.2CrossAttention2VAE3CLIP
wu_jiacheng·2023-11-17 01:21

java object toarray_关于java：List.toArray(Object [])性能

listOfBs=(List)CollectionUtils.collect(listOfAs,componentTransformer);但是，最终我需要B的Array而不是List。
王信文·2023-11-17 01:22

Zero-Shot Text-to-Image Generation阅读笔记

Zero-ShotText-to-ImageGeneration方法目标：训练一个Transformers将文本和图像标记作为单个数据流进行自回归建模以往的解决办法：可能性目标倾向于优先考虑像素之间的短程依赖关系建模
小杨小杨1·2023-11-17 00:42

炸裂！Sklearn 的 10 个宝藏级使用方法！

1️.FunctionTransformer虽然Sklearn中有很多内置的预处理操作可以放进pipeline管道，但很多时候并不能满足我们的需求。
Python数据挖掘·2023-11-16 23:41

谷歌内部文件泄漏！谷歌、OpenAI都没有护城河，大模型门槛正被开源踏破！

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信技术交流群转载自：机器之心开源社区的能量是否被低估了？
Amusi（CVer）·2023-11-16 23:06

支持80+编程语言！集成VSCode，HuggingFace代码大模型来了

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信技术交流群转载自：机器之心|编辑：杜伟、马梓文程序员们又有了一款AI代码生成工具。
Amusi（CVer）·2023-11-16 23:06

谷歌新作SPAE：GPT等大语言模型可以通过上下文学习解决视觉任务

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【多模态和Transformer】交流群转载自：机器之心|编辑：小舟LLM的能力还可以发挥到机器学习的更多子领域。
Amusi（CVer）·2023-11-16 23:06

斯坦福最新研究警告：别太迷信大模型涌现能力，那是度量选择的结果

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信技术交流群转载自：机器之心大模型出现后，涌现这一术语开始流行起来，通常表述为在小规模模型中不存在
Amusi（CVer）·2023-11-16 23:35

AI从入门到精通，什么是LLMs大型语言模型？

这种模型通常基于深度学习技术，如循环神经网络（RNN）或变换器（Transformer）。大型语言模型的训练过程通常涉及使用海量的文本数据，例如维基百科、网页内容、书籍和新闻文章等。
AI测评社·2023-11-16 23:29

使用 Hugging Face Transformer 微调 BERT

我们将使用HuggingFaceTransformers训练BERT，还将教BERT分析Arxiv的摘要并将其分类为11个类别之一。为什么微调BERT很重要？
TD程序员·2023-11-16 21:18

【论文阅读】A Survey on Video Diffusion Models

视频扩散模型（VideoDiffusionModel）最新综述+GitHub论文汇总-ASurveyonVideoDiffusionModels。paper：[2310.10647]ASurveyonVideoDiffusionModels(arxiv.org)0.Abstract本文介绍了AIGC时代视频扩散模型的全面回顾。简要介绍了扩散模型的基本原理和演变过程。总结了视频领域的扩散模型研究，将
李加号pluuuus·2023-11-16 21:04

Attention is all you need（Transformer）论文阅读笔记

一、背景seq2seq模型（2014年）：https://blog.csdn.net/zyk9916/article/details/118002934Attention模型（2015年）：https://blog.csdn.net/zyk9916/article/details/118498156对于序列建模和转换问题，大量的研究都围绕以RNN为基础的encoder-decoder架构展开。但是
zyk9916·2023-11-16 19:17

[动手学深度学习]注意力机制Transformer学习笔记

动手学深度学习（视频）：68Transformer【动手学深度学习v2】_哔哩哔哩_bilibili动手学深度学习（pdf）：10.7.Transformer—动手学深度学习2.0.0documentation
夏莉莉iy·2023-11-16 19:30

如何用bert做微信公众号自动问答问题

具体思路就是直接用bert的transformer做特征提取，也不finetune，直接把他的输出接着往下面贯，具体如下：1用哈工大训练好的bert，这样程序自动拉pretrainedfromtransformersimportBertTokenizer
wangmarkqi·2023-11-16 15:14

ChatGPT最近被微软内部禁用！GPTs新bug：数据只要两句提示词就能套走。。。

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉和Transformer】交流群扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料
Amusi（CVer）·2023-11-16 15:38
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他