transformer论文阅读

BERT 上的动态量化

(实验）BERT上的动态量化介绍在本教程中，我们将动态量化应用在BERT模型上，紧跟HuggingFaceTransformers示例中的BERT模型。
yanglamei1962·2023-08-30 13:51

【论文阅读】你看不见我:对基于激光雷达的自动驾驶汽车驾驶框架的物理移除攻击

文章目录AbstractIntroductionAbstract自动驾驶汽车(AVs)越来越多地使用基于激光雷达的物体检测系统来感知道路上的其他车辆和行人。目前，针对基于激光雷达的自动驾驶架构的攻击主要集中在降低自动驾驶物体检测模型的置信度，以诱导障碍物误检测，而我们的研究发现了如何利用基于激光的欺骗技术，在传感器层面选择性地去除真实障碍物的激光雷达点云数据，然后将其用作自动驾驶感知的输入。这些关
AISecurity盐究员·2023-08-30 12:28

智能化新十年，“全栈智能”定义行业“Copilot智能助手”

2023年初，基于谷歌Transformer算法的AI大模型和生成式AI爆火，引发了全社会新一轮的智能进化。在2023年初由联想智库主办、5G中国创新百人会协办的“行业智能化转型创新实践研讨会”上
阿川2015·2023-08-30 11:08

Transformer (Attention Is All You Need) 论文精读笔记

Transformer(AttentionIsAllYouNeed)AttentionIsAllYouNeed参考：跟李沐学AI-Transformer论文逐段精读【论文精读】摘要（Abstract）首先摘要说明
wyypersist·2023-08-30 08:04

DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION 论文精读笔记

DEFORMABLEDETRDEFORMABLEDETR:DEFORMABLETRANSFORMERSFOREND-TO-ENDOBJECTDETECTION参考：AI-杂货铺-Transformer跨界
wyypersist·2023-08-30 08:59

论文阅读_扩散模型_SDXL

英文名称:SDXL:ImprovingLatentDiffusionModelsforHigh-ResolutionImageSynthesis中文名称:SDXL：改进潜在扩散模型的高分辨率图像合成论文地址:http://arxiv.org/abs/2307.01952代码:https://github.com/Stability-AI/generative-models时间:2023-07-04
xieyan0811·2023-08-30 08:48

【论文阅读笔记】Advanced Endoscopic Navigation: Surgical Big Data, Methodology, and Applications

论文小结  本文如标题所示，是一篇医疗内窥镜导航为主体的论文。该论文发布于2018年，由厦门大学、名古屋大学和韦仕敦大学共同发布。该文有点久远了，可以看看大概。  基本没啥了解，纯挑着感兴趣的翻译了一下。  其中大部分方法都是带着“先验”，也就是实现拍照的一堆图像，可以在体外重构出该人的3D结构，然后再与内窥镜图像进行结合定位，进而实现导航的功能。  还做了一些内窥镜相关知识的科普及展望。论文简介
时光机ﾟ·2023-08-30 07:15

【论文阅读笔记】Endoscopic navigation in the absence of CT imaging

论文小结  上一篇的导航导论，是需要先验，也就是需要事先拍摄堆叠的图片（比如CT图等），在体外构建相应的3D模型，再与内窥镜图像进行实时匹配。对于很多情况来说，是无法拥有如此充足的先验的。所以，本文探索的是没有额外CT图像的一个内窥镜导航算法，应用场景是鼻腔和鼻窦内窥镜。。。。后面说的可变形配准算法，实际上，还是用了CT图像，只是不是那个患者的而已。  作者宣称，使用可变形配准算法（deforma
时光机ﾟ·2023-08-30 07:41

【论文阅读】ReaLiSe：Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking

文章目录本篇论文所需基础论文内容摘要（Abstract）1.介绍（Introduction）（略）2.相关工作3.模型部分（TheREALISEModel）3.1语义编码器（TheSemanticEncoder）3.2语音编码器（ThePhoneticEncoder）3.3图像编码器（TheGraphicEncoder）3.4特征融合模块（SelectiveModalityFusionModule
iioSnail·2023-08-30 07:17

论文阅读---REALISE model

REALISEmodel:1.utilizesmultipleencoderstoobtainthesemantic,phonetic,andgraphicinformationtodistinguishthesimilaritiesofChinesecharactersandcorrectthespellingerrors.2.Andthen,developaselectivemodalityf
qq_48566899·2023-08-30 07:32

【论文阅读笔记】代码注释生成任务综述

Paper:Asurveyofautomaticgenerationofsourcecodecomments:Algorithmsandtechniques1IntroductionObjectives给出自动注释生成研究的代表性算法目录，并使研究人员对当前最新算法有更好的了解；总结现存研究的主要挑战与限制。Contributions分析代码注释自动生成的动机与主要挑战；描述自动代码注释的工作流；
没啥信心·2023-08-30 04:25

LoRA学习笔记

例如图中，给出了Transformer的Q/K/V矩阵的全量微调示例，对每个矩阵来说，在微调时，其d*d个参数，都必须参与更新。全量微调的显著缺点是，训练代价昂贵。
银晗·2023-08-30 00:04

GPT 系列笔记

openai出品,与google的bert系列是不同的任务,NLGenerationvs.NLUnderstanding.二.GPT-2hugging-face的transformers库中有模型源码,
yichudu·2023-08-29 21:19

论文阅读_异常检测综述

英文题目：AnomalyDetection:ASurvey中文题目：异常检测综述论文地址：https://readpaper.com/paper/2122646361领域：异常检测发表时间：2009作者：VARUNCHANDOLA等，明尼苏达大学出处：ACMComputingSurveys被引量：11797（谷歌学术）阅读时间：22.10.30读后感一篇典型的综述文章，快速了解异常检测的定义，用途
xieyan0811·2023-08-29 21:21

2023.8.28日论文阅读

文章目录NestFuse:AnInfraredandVisibleImageFusionArchitecturebasedonNestConnectionandSpatial/ChannelAttentionModels(2020的论文)本文方法LRRNet:ANovelRepresentationLearningGuidedFusionNetworkforInfraredandVisibleIm
小杨小杨1·2023-08-29 19:35

DeepSpeed Ulysses: 训练极长序列Transformer模型的系统优化

DeepSpeed组官方中文博客（翻译自官方英文博客：DeepSpeedUlysses:SystemOptimizationsforEnablingTrainingofExtremeLongSequenceTransformerModels
开源社·2023-08-29 15:37

Transformer系列模型笔记

1.word2vec1.1CBOW(词袋模型)根据上下出现的单词预测中间的单词，包括输入层、投影层、输出层。输入层包括上下出现单词的向量化表示；投影层是把输入层的向量累加求和后做映射；输出层(计算语料库中所有单词的概率，计算量大！)所以设计的底层是一颗哈夫曼树，按照语料库中单词出现的频率作为权重进行构建，出现频率越高的节点在树中层数越浅。1.2skip-gram与词袋模型刚好相反，skip-gra
抓个马尾女孩·2023-08-29 14:46

ChatGPT总结（持续更新）

目录体验渠道weTab编辑CSDN-AI助手其他插件ChatGPT简介ChatGPT主要用途ChatGPT发展历程GPT-4架构的特点和优势ChatGPT的工作原理神经网络和自然语言处理技术Transformer
慕白Lee·2023-08-29 09:01

《论文阅读18》JoKDNet

一、论文研究领域：用于大尺度室外TLS点云配准的联合关键点检测和特征表达网络论文：JoKDNet:Ajointkeypointdetectionanddescriptionnetworkforlarge-scaleoutdoorTLSpointcloudsregistrationInternationalJournalofAppliedEarthObservationsandGeoinformat
Darren_pty·2023-08-29 08:32

音视频技术开发周刊 | 308

OpenAI首席科学家最新访谈：对模型创业两点建议、安全与对齐、Transformer够好吗？
LiveVideoStack_·2023-08-29 06:32

【学习笔记】计算机视觉对比学习综述

计算机视觉对比学习综述前言百花齐放InstDiscInvaSpreadCPCCMCCV双雄MoCoSimCLRMoCov2SimCLRv2SwAV不用负样本BYOLSimSiamTransformerMoCov3DINO
HERODING77·2023-08-29 06:51

机器学习小白学习笔记：深度学习时序预测模型 Temporal Fusion Transformers

前言由于接触的时序预测问题基本都来自于数字化转型期的企业，我经常发现，在解决实际时序预测问题的时候，大部分时候还是用树模型结合特征工程的思路，关键点往往都在数据和特征工程上，如果想要使用深度学习，有时候客户的数据量不满足，有时候客户的生产环境不允许。我自己在一些时序预测问题，比如销量预测问题的比赛上，也做过一些尝试，发现深度学习模型里面，TFT这个模型基本都能有不错的效果，所以就萌生了学习一下的想
MeetLight·2023-08-29 06:26

【论文阅读】自动驾驶中车道检测系统的物理后门攻击

文章目录AbstractIntroduction论文题目：PhysicalBackdoorAttackstoLaneDetectionSystemsinAutonomousDriving（自动驾驶中车道检测系统的物理后门攻击）发表年份：2022-MM（ACMInternationalConferenceonMultimedia,CCF-A）作者信息：XingshuoHan（南洋理工大学）,Guow
AISecurity盐究员·2023-08-29 06:27

FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）

尽管基于transformer的方法显著改善了长期序列预测的最新结果，但它们不仅计算成本高，更重要的是，无法捕捉时间序列的全局视图(例如总体趋势)。
西西弗的小蚂蚁·2023-08-29 03:56

从Attention到Transformer

看了Bert的论文，知道Bert用到了双向Transformer作为特征提取器，效果远比RNN和LSTM要好。一直没有时间看看这个黑盒子里面到底长什么样，最近有时间把这些内容整理下。
刘单纯·2023-08-29 02:52

论文阅读_扩散模型_LDM

英文名称:High-ResolutionImageSynthesiswithLatentDiffusionModels中文名称:使用潜空间扩散模型合成高分辨率图像地址:https://ieeexplore.ieee.org/document/9878449/代码:https://github.com/CompVis/latent-diffusion作者：RobinRombach日期:2022-06
xieyan0811·2023-08-28 23:25

主干网络篇 | YOLOv8 更换主干网络之 VanillaNet |《华为方舟实验室最新成果》

然而，优化和Transformer模型固有的复杂性带来了挑战，需要转向简洁性的范式。在这项研究中，我们介绍了VanillaNet，这是
迪菲赫尔曼·2023-08-28 22:00

YoloV8改进策略：InceptionNeXt和YoloV8完美结合，让YoloV8大放异彩

文章目录论文翻译摘要1、简介2.相关工作2.1.Transformerv.s.CNN2.2.大核卷积。
静静AI学堂·2023-08-28 22:27

YoloV8改进策略：Conv2Former与YoloV8深度融合，极简网络，极高性能

文章目录摘要论文翻译摘要1、简介2、相关工作2.1、卷积神经网络2.2、VisionTransformers2.3、其他方法3、模型设计3.1、架构3.2、卷积调制块3.3、Micro设计4、实验4.1
静静AI学堂·2023-08-28 22:26

YoloV8改进策略：基于双层路由注意力的视觉Transformer提升YoloV8的检测能力

文章目录摘要论文翻译摘要1、简介2、相关工作3、我们的方法:BiFormer3.1、预备知识：注意力3.2、双层路由注意(BRA)3.3、BRA的复杂性分析4、实验4.1、ImageNet-1K图像分类4.2.目标检测与实例分割4.3.基于ADE20K的语义分割4.4、消融研究4.5、注意图可视化5、局限性和未来工作6、结论源码改进一改进方法：在Bottleneck增加BiLevelRouting
静静AI学堂·2023-08-28 22:26

20230215小结

1t-sne原理：利用两个向量之间的欧式距离转化成条件概率分布，可以把高维度的数据转化为低维度（1000，64）-》（1000，2），原先每个样本有64维度，转化为2维2swin-transformer
牛奶还是纯的好·2023-08-28 20:38

【OpenVI—论文解读系列】达摩院快速动作识别TPS ECCV论文深入解读

本文提出了一种简单高效的时空自注意力Transformer，在对比2DTransformer网络不增加计算量和参数量情况下，实现了时空自注意力机制。
·2023-08-28 19:27

cs231n assignment3 q3 Image Captioning with Transformers

文章目录先啰嗦直接看代码Q3ImageCaptioningwithTransformersMultiHeadAttention.forward题面解析代码输出PositionalEncoding题面解析代码输出
理智点·2023-08-28 18:55

2021-10-12

爱可可老师7月至9月的推荐(2021.10.12整理)——MLPs与VisionTransformer主干架构专题，时间从近（9月）至远（7月）PoNet:PoolingNetworkforEfficientTokenMixinginLongSequencesPoNet
Valar_Morghulis·2023-08-28 16:46

BEiT: BERT Pre-Training of Image Transformers 论文笔记

BEiT:BERTPre-TrainingofImageTransformers论文笔记论文名称：BEiT:BERTPre-TrainingofImageTransformers论文地址：2106.08254
迪菲赫尔曼·2023-08-28 16:06

通过 ChatGPT 学习 Python

GPT（GenerativePre-trainingTransformer）是OpenAI开发的一种语言模型，它使用深度学习技术生成类似人类的文本。
TYboy123·2023-08-28 16:25

SCI论文创新思路

组合创新公式2、生活中的例子3、关于CV的例子4、魔改的方法一、创新的分类1、算法创新比如提出CNN、LSTM、GCN、Attention、GAN这些伟大的算法，图灵奖大佬或在路上的大佬2、架构创新提出Transformer
毕竟是shy哥·2023-08-28 15:42

webassembly009 transformers.js 网页端侧推理

这里的transformers.js相当于在网页端实现了transformer库。Transformers.js在功能
FakeOccupational·2023-08-28 15:02

FastText

http://fancyerii.github.io/2019/03/09/transformer-codes/
禾木清清·2023-08-28 12:44

Transformer作者：指令型智能体的构建之法

来源|TheRobotBrainsPodcastOneFlow编译翻译｜徐佳渝、贾川、杨婷2017年，Google发布的《AttentionIsAllYouNeed》论文提出了Transformer架构
OneFlow深度学习框架·2023-08-28 09:21

推荐系统论文阅读（六)-阿里巴巴深度兴趣进化网络DIEN

论文原文：论文题目：《DeepInterestEvolutionNetworkforClick-ThroughRatePrediction》地址：https://arxiv.org/abs/1809.03672一、背景在第二篇文章我们提到了阿里巴巴的《DeepInterestNetworkforClick-ThroughRatePrediction》先从论文的题目来看这两篇论文有什么区别，DIEN
推荐系统论文阅读·2023-08-28 07:26

8.27周报

文章目录前言论文阅读摘要介绍模型算法总结前言本周学习了GAN论文《GenerativeAdversarialNets》，了解GAN主要由两部分组成：生成器和判别器，知道生成器G和判别器D的作用及原理，相比于其他的生成模型
hehehe2022·2023-08-28 03:15

RetNet或成Transformer继承者？通向更快、更强、更经济的基础架构

深度学习发展到今天，基于Transformer的LLM模型在推理效率、并行计算能力、长序列建模能力等方面逐渐
智源社区·2023-08-27 23:08

Talk | 香港中文大学张懿元：由MetaTransformer探索统一的多模态学习

本期为TechBeat人工智能社区第524期线上Talk！北京时间8月23日(周三)20:00，香港中文大学博士生—张懿元的Talk已准时在TechBeat人工智能社区开播！他与大家分享的主题是:“探索模态通用感知”，介绍了多模态学习和发展统一的多模态学习的意义，并且探索了统一的多模态学习。Talk·信息▼主题：探索模态通用感知嘉宾：香港中文大学博士生—张懿元时间：北京时间8月23日(周三)20:
TechBeat人工智能社区·2023-08-27 23:30

几个nlp的小任务(生成式任务——语言模型(CLM与MLM))

@TOC本章节需要用到的类库微调任意Transformers模型（CLM因果语言模型、MLM遮蔽语言模型）CLMMLM准备数据集展示几个数据的结构
码manba·2023-08-27 23:52

DeepSpeed加速大模型训练

在这里我也对DeepSpeed进行了测试，看看是否能提高我的transformer模型的训练性能。
gzroy·2023-08-27 21:30

Huggingface训练Transformer

具体可见博客召唤神龙打造自己的ChatGPT_gzroy的博客-CSDN博客Huggingface提供了一个TRL的扩展库，可以对transformer模型进行强化学习，SFT是其中的一个训练步骤，为此我也测试一下如何用
gzroy·2023-08-27 21:29

Attention is all you need 官方 tensorflow 1.x 实现

https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py1，搭建cuda10.0
Eloudy·2023-08-27 19:25

扩散模型 (Diffusion Model) 之最全详解图解

目前最近在AI作画这个领域Transformer火的一塌糊涂，AI画画效果从18年的DeepDream噩梦中惊醒过来，开始从2022年OpenAI的DALL·E2[2]引来插画效果和联想效果都达到惊人效果
DFCED·2023-08-27 18:25

Swin Transformer

Hierarchical分层的ageneral-purposebackbone一个通用的骨干网络图像局部性原理：同一个物体的不同部位，或者说语义相近的不同物体，大概率会出现在相连的地方。如何生成多尺度的特征？卷积中，通过pooling（即池化操作）生成多尺度特征。因为每次池化，能增大感受野。类似于卷积，swin中提出了patchmerging，把相邻的小patch合成一个大patch。
-小透明-·2023-08-27 13:17
上一页 84 85 86 87 88 89 90 91 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他