transformer论文阅读第50页

第27期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2023-11-14 23:06

C# Onnx LSTR 基于Transformer的端到端实时车道线检测

目录效果模型信息项目代码下载效果模型信息lstr_360x640.onnxInputs-------------------------name：input_rgbtensor：Float[1,3,360,640]name：input_masktensor：Float[1,1,360,640]-----------------------------------------------------

乱蜂朝王·2023-11-14 22:20

PP-YOLO论文阅读笔记

PP-YOLO:Aneffectiveandefficientimplementationofobjectdetector期刊:arXivpreprint年份:2020主要内容列举:①:实现一个有效性和效率相对平衡的对象检测器，可以直接应用于实际应用场景;②②:添加了一系列几乎不会增加推断时间的技巧，以提高模型的整体性能;③:PP-YOLO可以在有效性（45.2%mAP)和效率（72.9FPS)之

咕咕咕不咕·2023-11-14 22:50

动手学大模型应用开发_学习笔记（一）——大模型简介

2018年左右神经网络模型byTransformer通过大量文本数据训练模型，使它们能够深入理解语言规则和模式，

dandellion_·2023-11-14 22:35

【论文阅读】GAIN: Missing Data Imputation using Generative Adversarial Nets

论文地址：[1806.02920]GAIN:MissingDataImputationusingGenerativeAdversarialNets(arxiv.org)

轩儿毛肚·2023-11-14 21:51

【论文阅读】MD-GAN: Multi-Discriminator Generative Adversarial Networks for Distributed Datasets

论文地址：[1811.03850]MD-GAN:Multi-DiscriminatorGenerativeAdversarialNetworksforDistributedDatasets(arxiv.org)本文介绍了一种名为MD-GAN的新方法，可以在分布式数据集上训练生成对抗网络（GAN）。文章首先介绍了GAN的背景和构成，然后提出了分布式GAN训练的挑战，即如何在多个工作节点上细粒度地分配

轩儿毛肚·2023-11-14 21:36

【论文阅读】(VAE-GAN)Autoencoding beyond pixels using a learned similarity metric

论文地址;[1512.09300]Autoencodingbeyondpixelsusingalearnedsimilaritymetric(arxiv.org)/一、Introduction主要讲了深度学习中生成模型存在的问题，即常用的相似度度量方式（使用元素误差度量）对于学习良好的生成模型存在一定的障碍，并提出了一种新的方法——使用学习到的相似度度量方式来改善生成模型的性能。同时，该部分还介绍

轩儿毛肚·2023-11-14 21:36

【论文阅读】PC-GAIN: Pseudo-label Conditional Generative Adversarial Imputation Networks for Incomplete Da

论文地址;[2011.07770]PC-GAIN:Pseudo-labelConditionalGenerativeAdversarialImputationNetworksforIncompleteData(arxiv.org)摘要有缺失值的数据集在实际应用程序中非常常见。GAIN是最近提出的用于缺失数据插补的深度生成模型，已被证明优于许多最先进的方法。但GAIN仅使用生成器中的重构损耗来最小化

轩儿毛肚·2023-11-14 21:05

【论文阅读】(CTGAN)Modeling Tabular data using Conditional GAN

论文地址：[1907.00503]ModelingTabulardatausingConditionalGAN(arxiv.org)摘要对表格数据中行的概率分布进行建模并生成真实的合成数据是一项非常重要的任务，有着许多挑战。本文设计了CTGAN，使用条件生成器解决挑战。为了帮助进行公平和彻底的比较建模这类数据的方法，本文设计了一个基准测试，包括7个模拟数据集和8个真实数据集，以及几个贝叶斯网络

轩儿毛肚·2023-11-14 20:52

9种高效提速的transformer魔改版本

Transformer目前已经成为人工智能领域的主流模型，应用非常广泛。然而Transformer中注意力机制计算代价较高，随着序列长度的增加，这个计算量还会持续上升。

深度之眼·2023-11-14 19:31

语言大模型的预训练过程——从无尽数据到海量知识

从目前研究结果看，Transformer是足够强大的特征抽取器，通过预训练过程，Transformer学到了什么？知识是如何存取的？我们又如何修正错误知识？本文讲述这方面的研究进展。

嗯，这是一个好名字·2023-11-14 18:53

基础大模型的结构特性与发展

这些属性已通过现有架构成功实现，例如Transformer网络，该网络是迄今为止大多数基础模型的基础。然后，我们继续探讨是下一代模型可能必不可少的属性，包括：多模态-消费，处理和可能产生的内

嗯，这是一个好名字·2023-11-14 18:53

8. 深度学习——NLP

机器学习面试题汇总与解析——NLP本章讲解知识点什么是NLP循环神经网络（RNN）RNN变体Attention机制RNN反向传播推导LSTM与GRUTransformerBertGPT分词算法分类CBOW

华为云计算搬砖工·2023-11-14 18:05

YOLOv5改进，论文阅读建议

"EfficientNet:RethinkingModelScalingforConvolutionalNeuralNetworks"，这是一篇在2019年提出的论文，提出了一种新的CNN模型缩放方法，可以根据目标任务的复杂性自适应地缩放网络深度、宽度和分辨率，从而在不增加计算量的情况下提高模型精度。"BagofTricksforImageClassificationwithConvolution

DeepQi·2023-11-14 17:20

机器人迎来ImageNet时刻！谷歌等新作Open X-Embodiment：机器人学习数据集和 RT-X 模型...

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【机器人和Transformer】交流群在CVer微信公众号后台回复：RT数据集，可以下载本论文pdf、代码和数据集，学起来

Amusi（CVer）·2023-11-14 17:10

Transformer模型详解

Transformer上一节中我们详细介绍了Seq2Seq模型和Attention机制的应用，首先来看即便是带有Attention机制的Seq2Seq模型仍存在的问题。

lzk_nus·2023-11-14 16:51

Transformer模型

目录1.概述2.ModelArchitecture2.1自回归2.2编码器与解码器2.3Attention2.4Attention—mask2.5Multi-HeadAttention2.6自注意力使用2.7point-wisefeedforwardnetwork2.8embeddings2.9positionalEncoding1.概述之前的模型，如RNN等，需要按时序做运算，对与并行设备能够减

MyDreamingCode·2023-11-14 16:46

Transformer模型的基础演算

作者|QuentinAnthony、StellaBiderman、HaileySchoelkopfOneFlow编译翻译|贾川、徐佳渝、杨婷1引言Transformer语言模型的许多基本重要信息可以通过简单计算得出

OneFlow深度学习框架·2023-11-14 16:46

AI生成技术威胁版权保护，水印技术和法律完善是关键/安圭拉小岛以.ai域名注册赚得3000万美元 |魔法半周报

节省阅读时间资讯预览AI生成技术威胁版权保护，水印技术和法律完善是关键SamAltman对硅谷不满意称OpenAI以自由度引领科技突破Roblox宣布推出新工具Roblox助手，创作者创作游戏更轻松基于Transformer

我有魔法WYMF·2023-11-14 14:10

Python离线翻译

Python源码：#离线翻译服务代码importosfromflaskimportFlask,requestfromgeventimportpywsgifromtransformersimportpipeline

zow·2023-11-14 13:34

【目标跟踪】ECO算法论文阅读：ECO: Efficient Convolution Operators for Tracking

文章目录1.论文概要2.研究背景和动机3.相关滤波用于目标跟踪的原理4.ECO算法流程5.ECO算法创新点5.1特征降维：PCA5.2训练集简化：GMM5.3模型更新策略：间歇更新1.论文概要论文下载地址：ECO:EfficientConvolutionOperatorsforTracking发表时间：CVPR2017作者：MartinDanelljan（瑞典），目标跟踪领域的大牛官方代码：htt

ctrl A_ctrl C_ctrl V·2023-11-14 12:18

大型语言模型 (LLM) 初学者指南

时间回到2017年，这是一个以“注意力就是你所需要的”为标志的关键时刻，开创性的“Transformer”架构诞生了。

Momodel平台·2023-11-14 05:56

全面了解大语言模型，这有一份阅读清单

鉴于Transformers对每个人的研究进程都有如此大的影响，本文将为大家介绍一个简短的阅读清单，供机器学习研究

zenRRan·2023-11-14 05:25

论文阅读-Practical Secure Aggregation for Privacy-Preserving Machine Learning（谷歌.CCS.2017）

实用的用户隐私机器学习安全聚合的算法1.前置知识门限机制和Shamir秘密共享秘密s通过某种方案被分成n个部分，每个部分被称为份额或者影子，由一个参与者持有，使得：由k个或多于k个参与者所持有的部分可以重构S由少于k个参与者所持有的部分则无法重构S该方案称为（k,n）秘密分割门限方案，k称为门限值shamir于1979年，基于多项式插值算法设计了shamir(t,n)门限共享体制，他的秘密分配算法

md5_NULL·2023-11-14 01:59

Neural Collaborative Filtering 论文阅读和复现

NeuralCollaborativeFiltering论文阅读和复现AbstractMethodsExperimentsandResultsDataset首先是数据理解功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中

Taosolo·2023-11-14 01:47

VALSE 2023 | 走向计算机视觉的通用人工智能：GPT和大语言模型带来的启发

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【目标检测和Transformer】交流群作者：谢凌曦|源：知乎（已授权转载）https://zhuanlan.zhihu.com

Amusi（CVer）·2023-11-14 00:50

（论文阅读28/100 人体姿态估计）Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

28.文献阅读笔记简介题目RealtimeMulti-Person2DPoseEstimationusingPartAffinityFields作者ZheCao,TomasSimon,Shih-EnWei,andYaserSheikh,CVPR,2017.原文链接arxiv.org/pdf/1611.08050.pdf【人体姿态估计2】Real-timeMulti-person2dposeesti

朽月初二·2023-11-13 19:16

（论文阅读29/100 人体姿态估计）

29.文献阅读笔记简介题目DeepCut:JointSubsetPartitionandLabelingforMultiPersonPoseEstimation作者LeonidPishchulin,EldarInsafutdinov,SiyuTang,BjoernAndres,MykhayloAndriluka,PeterGehler,andBerntSchiele,CVPR,2016.原文链接h

朽月初二·2023-11-13 19:12

DETR疑问与理解

1、DETR解读用Transformer做objectdetection：DETR-小小理工男的文章-知乎https://zhuanlan.zhihu.com/p/267156624视频解读：【DETR

yang_daxia·2023-11-13 18:07

未来之路：大模型技术在自动驾驶的应用与影响

接着，详细介绍了大模型的基本定义、基础功能和关键技术，特别是Transformer注意力机制和预训练-微调范式。文章还介绍了大模型在任务适配性、模型变革和应用前景方面的潜力。

一颗小树x·2023-11-13 18:03

【NLP】理解 Llama2：KV 缓存、分组查询注意力、旋转嵌入等

图1：原始Transformer和LLama之间的架构差异检查图1揭示了从原始Transformer到突破性的LLaMA架构的深刻

Sonhhxg_柒·2023-11-13 18:19

Transformer学习

Transformer学习1.RNN存在什么问题？

GeekPlusA·2023-11-13 18:45

基于CUDA的Transformer Encoder并行化

写在前面：视觉Transformer模型的研究使得深度学习在分类、目标检测和语义分割等视觉任务上取得了非常好的应用，然而，因为其模型参数量大的特点，训练和推理的速度都受到了严峻的挑战，因此，并行化视觉Transformer

张小殊.·2023-11-13 17:41

（论文阅读26/100）Weakly-supervised learning with convolutional neural networks

26.文献阅读笔记简介题目Weakly-supervisedlearningwithconvolutionalneuralnetworks作者MaximeOquab，LeonBottou，IvanLaptev，JosefSivic，CVPR，2015原文链接http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Oquab_

朽月初二·2023-11-13 14:50

DeCLIP 论文阅读

DeCLIP:supervisionexistseverywhere:adataefficientcontrastivelanguage-imagepre-trainingparadigm贡献：论文是为了充分利用单模态和多模态，充分利用单模态特征用自监督（SIMSAM和MLM），多模态用图像文本对比学习实现；一个图片的文本描述大部分都是集中在局部区域，作者使用RRC得到一个图像的局部区域进行实现；

B1CK·2023-11-13 14:50

FD-Align论文阅读

FD-Align:FeatureDiscriminationAlignmentforFine-tuningPre-TrainedModelsinFew-ShotLearning（NeurIPS2023）主要工作是针对微调的和之前的prompttuining，adapter系列对比Motivation：通过模型对虚假关联性的鲁棒性来解释全微调的CLIP的out-of-distribution(OOD

B1CK·2023-11-13 14:50

（论文阅读25/100）Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

25.文献阅读笔记Multi-DomainNetwork(MDNet)简介题目LearningMulti-DomainConvolutionalNeuralNetworksforVisualTracking作者HyeonseobNamandBohyungHan原文链接https://arxiv.org/pdf/1510.07945.pdf关键词Multi-DomainNetwork(MDNet)研

朽月初二·2023-11-13 14:49

（论文阅读27/100）Deep Filter Banks for Texture Recognition and Segmentation

27.文献阅读笔记简介题目DeepFilterBanksforTextureRecognitionandSegmentation作者MirceaCimpoi,SubhransuMaji,AndreaVedaldi,原文链接http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Cimpoi_Deep_Filter_Banks

朽月初二·2023-11-13 14:08

Prompt 设计与大语言模型微调，没有比这篇更详细的了吧！

输入编码：ChatGPT将经过预处理的文本输入到神经网络中进行编码处理，使用的是多层transformer编码器结构。预测输出：ChatGPT通过对输入进行逐个token预测，输出下一个

Python算法实战·2023-11-13 13:05

DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑

PromptIDE的核心是代码编辑器+PythonSDK，其中SDK提供了一种新的编程范式，可以实现复杂的prompting技术。距离马斯克的xAI公布Grok才过去一天，刚刚，xAI又公布了另一款AI产品，一个可用于prompt工程和可解释性研究的集成开发环境：PromptIDE。接连不断的新品发布，也让网友纷纷感叹：「xAI团队的开发速度简直是疯了！」xAI在官方博客中这样介绍：PromptI

疯狂创作者·2023-11-13 11:16

RT-DETR：《DETRs Beat YOLOs on Real-time Object Detection》

概述：基于Transformer的端到端检测器（DETR）的高计算成本问题尚未得到有效解决，这限制了它们的实际应用，并使它们无法充分利用无后处理的好处，如非最大值抑制（NMS）。

Y蓝田大海·2023-11-13 10:34

[论文阅读] CLRerNet: Improving Confidence of Lane Detection with LaneIoU

Abstract车道标记检测是自动驾驶和驾驶辅助系统的重要组成部分。采用基于行的车道表示的现代深度车道检测方法在车道检测基准测试中表现出色。通过初步的Oracle实验，我们首先拆分了车道表示组件，以确定我们方法的方向。我们的研究表明，现有的基于行的检测器已经能预测出正确的车道位置，而准确表示与地面实况相交-不相交（IoU）的置信度分数是最有利的。基于这一发现，我们提出了LaneIoU，通过考虑局部

大龙唉·2023-11-13 10:10

大模型是基于Transformer的基础架构，那Transformer的编码和解码，不是大模型必须具备的吗？为什么说bert是用的编码器，chatgpt用的解码器？

Transformers的基本架构包括编码器（Encoder）和解码器（Decoder），这两个组件通常在序列到序列（Seq2Seq）任务中一起使用，如机器翻译。

chunmiao3032·2023-11-13 03:18

Transformer和ELMo模型、word2vec、独热编码（one-hot编码）之间的关系

下面简要概述了Transformer和ELMo模型、word2vec、独热编码（one-hot编码）之间的关系：独热编码（One-hotEncoding）是一种最基本的词表示方法，将词表示为高维稀疏向量

chunmiao3032·2023-11-13 03:46

改进YOLO系列 | YOLOv5/v7 引入反向残差注意力模块 iRMB | 《ICCV 2023 最新论文》

本研究从高效的IRB和Transformer的有效组件的统一视

迪菲赫尔曼·2023-11-13 00:03

一点就分享系列（理解篇3）—Cv任务“新世代”之Transformer系列（中篇-视觉模型篇DETR初代版本）

一点就分享系列（理解篇3）—Cv任务“新世代”之Transformer系列（中篇-视觉模型篇）对于上篇介绍transformer得原理，自认为把细节讲得很详细了，作为“前菜”还算满意，这篇言归正传，先介绍最近的

啥都会一点的老程，自在地镜强者·2023-11-12 22:50

其实书童是一个集算法、实践、论文以及Transformer于一身的公号（往期索引大全）...

人工智能与算法学习·2023-11-12 22:49

（无敌版的简洁版）深入理解transformer源码

原文链接：https://blog.csdn.net/zhaojc1995/article/details/109276945参考资料：transformer原论文深入理解transformer及源码图解

薛定谔的炼丹炉！·2023-11-12 22:48

Transformer详解(1)---原理部分

1.网络架构整个网络由2个部分组成，一个Encoders和一个Decoders，每个Encoders中分别由6个Encoder组成，而每个Decoders中同样也是由6个Decoder组成，如下图所示对于Encoders中的每一个Encoder，他们结构都是相同的，但是并不会共享权值。每层Encoder有2个部分组成，如图1.2所示。每个Encoder的输入首先会通过一个self-attentio

orangerfun·2023-11-12 22:46

transfomer模型——简介，代码实现，重要模块解读，源码，官方

一、什么是transfomerTransformer是一种基于注意力机制（attentionmechanism）的神经网络架构，最初由Vaswani等人在论文《AttentionIsAllYouNeed

一路向前，积极向上·2023-11-12 22:43

推荐频道

transformer论文阅读