transformer论文阅读

如何获取java运行时动态生成的class文件

2.自己重写一个记录工具，用agentattatch到进程，然后利用Instrumentation和ClassFileTransformer就可以获取到类的字节码了。
heikeb·2023-07-14 22:56

羊驼再度进化，“长颈鹿版”LongLLaMA 来啦，上下文长度冲向 100K ，性能不减

文|小戏、ZenMoore要说当下制约大模型释放更大规模潜力的桎梏，除了机器幻觉，肯定当属受限的上下文长度，前两天微软的LongNet正将Transformer的上下文长度扩展到夸张的10亿量级，这两天撑起了开源大模型一片天的
夕小瑶·2023-07-14 20:47

超长上下文处理：基于Transformer上下文处理常见方法梳理

原文链接：芝士AI吃鱼目前已经采用多种方法来增加Transformer的上下文长度，主要侧重于缓解注意力计算的二次复杂度。
wwlsm_zql·2023-07-14 20:36

什么是GPT？

GPT是GenerativePre-trainingTransformer的缩写，翻译成中文是生成型预训练转换器。它最初是由OpenAI团队在2018年开
终成一个大象·2023-07-14 20:04

Meta提出全新参数高效微调方案，仅需一个RNN，Transformer模型GPU使用量减少84%！

近来，随着ChatGPT和GPT-4模型的不断发展，国内外互联网大厂纷纷推出了自家的大语言模型，例如谷歌的PaLM系列，MetaAI的LLaMA系列，还有国内公司和高校推出的一些大模型，例如百度的文心一言，清华的ChatGLM等模型。几乎隔几天就会有一个全新的大模型发布，但是对于研究者和开发者来讲，可能大家更关心的是在基础大模型训练、微调、推理和部署等实际落地方面上的创新。这就不得不谈到大模型底层
TechBeat人工智能社区·2023-07-14 20:57

【多层交叉transformer：高光谱和多光谱图像融合】

MCT-Net:Multi-hierarchicalcrosstransformerforhyperspectralandmultispectralimagefusion（MCT-Net：用于高光谱和多光谱图像融合的多层交叉
小郭同学要努力·2023-07-14 19:10

Vision Transformer推理中线性-角度注意转换压缩自注意

文章目录Castling-ViT:CompressingSelf-AttentionviaSwitchingTowardsLinear-AngularAttentionatVisionTransformerInference
小杨小杨1·2023-07-14 19:07

一个Transformer在尺度上适合多模态扩散的所有分布

文章目录OneTransformerFitsAllDistributionsinMulti-ModalDiffusionatScale摘要本文方法实验结果OneTransformerFitsAllDistributionsinMulti-ModalDiffusionatScale
小杨小杨1·2023-07-14 19:31

NLP（五十九）使用FastChat部署百川大模型

基于Transformer结构，在大约1.
山阴少年·2023-07-14 19:02

第一章 SegFormer（语义分割篇）——SegFormer: 简单高效的基于Transformer的语义分割设计

0.摘要我们提出了SegFormer，这是一个简单、高效且强大的语义分割框架，它将Transformer与轻量级多层感知机（MLP）解码器结合在一起。
Joney Feng·2023-07-14 19:01

NLP学习—23.基于Transformer的机器翻译实战

文章目录Transformer理论部分Transformer代码实现基于Transformer的机器翻译实战  在Transformer的代码实现的基础上，采用机器翻译数据，进行基于Transformer
哎呦-_-不错·2023-07-14 18:38

【NLP】BERT和原理揭示

一、说明BERT（来自transformer的双向编码器表示）是GoogleAILanguage研究人员最近发表的一篇论文。
无水先生·2023-07-14 17:21

论文阅读--ssFPN: Scale Sequence (S2 ) Feature Based Feature Pyramid Network for Object Detection

论文地址：ssFPN:ScaleSequence(S2)FeatureBasedFeaturePyramidNetworkforObjectDetection1、文章解决的核心问题目标检测任务中，FPN是一个解决多尺度问题的核心结构，但即使使用了FPN或者其变体结构，最终检测结果的AP值在小目标上依然较差，如下图所示，APs的的检测结果无论在一阶段的YOLO或者两阶段的CascadeR-CNN中表
AI小花猫·2023-07-14 14:12

利用DETR模型实现Gaze Tracking

在本文中，我们将探讨如何利用DETR（DetectionTransformer）模型实现高效准确的注视追踪。DETR模型是一种基于Transformer架构的目标检测模型，由FacebookA
网创学长·2023-07-14 13:15

第51步 深度学习图像识别：Convolutional Vision Transformer建模（Pytorch）

基于WIN10的64位系统演示一、写在前面（1）ConvolutionalVisionTransformersConvolutionalVisionTransformer（ConViT）是一种结合了卷积神经网络
Jet4505·2023-07-14 12:39

深度学习神经网络学习笔记-论文研读-transformer及代码复现参考

我们提出了一种新的简单的网络架构，Transformer，完全基于注意力机制，省去了递归和卷积完全。在两个机器翻译任务上的实验表明，这些模型可以质量优越，同时具有更强的并行性和显著的要求训练时间更少。
丰。。·2023-07-14 12:34

Vit 实战营 Class2：图像与Transformer基础

NMT：NeuronMachineTranslationTransformerVisionTransformer代码实战数组图像：图像与像素什么是数字图像？在计算机图像的图像格式。
大叔爱学习.·2023-07-14 11:50

transformer 学习

原理学习：(3条消息)TheIllustratedTransformer【译】_于建民的博客-CSDN博客代码学习：https://github.com/jadore801120/attention-is-all-you-need-pytorch
一条咸鱼在网游·2023-07-14 11:07

详解python架构 PyNeuraLogic超越Transformers

目录引言1.简介2.SymbolicTransformers3.Attention机制4.AttentionMasking5.非标准Attention6.Encoder总结引言展示神经符号编程的力量1.
·2023-07-14 11:19

【论文阅读】Scaling Laws for Neural Language Models

前言本文简要介绍Scalinglaw的主要结论原文地址：ScalingLawsforNeuralLanguageModels个人认为不需要特别关注公式内各种符号的具体数值，而更应该关注不同因素之间的关系，比例等SummaryPerformancedependsstronglyonscale,weaklyonmodelshapescale:参数量NNN,数据量DDD,计算量CCCshape:模型深度
长命百岁️·2023-07-14 11:32

Swin Transformer模块集成到YOLOv5目标检测算法中实现

目录一、YOLOv5简介二、SwinTransformer简介三、添加SwinTransformer模块到YOLOv5四、训练和测试YOLOv5+SwinTransformer五、实验结果一、YOLOv5
·2023-07-14 11:17

【NLP】Transformer模型原理（2）

接上文【NLP】Transformer模型原理（1）六、零层的transformer观看涵盖与本节类似内容的视频：0层理论在进入更复杂的模型之前，简要考虑一下“零层”变压器很有用。
无水先生·2023-07-14 11:26

【论文阅读】xNIDS：可解释的基于深度学习的网络入侵检测系统的主动入侵响应（USENIX-2023）

【USENIX-2023】XNIDS:ExplainingDeepLearning-basedNetworkIntrusionDetectionSystemsforActiveIntrusionResponses摘要  基于深度学习的网络入侵检测系统（DL-NIDS）得到了显著的探索，并显示出卓越的性能，但存在两个问题：检测结果和可操作的解释之间存在语义差距，不足以对检测到的入侵作出积极的回应高错
C00per_·2023-07-14 10:50

LSTR环境安装

LaneShapePredictionwithTransformersGitHub-liuruijin17/LSTR:ThisisanofficialrepositoryofEnd-to-endLaneShapePredictionwithTransformers
Arnold-FY-Chen·2023-07-14 10:44

PyTorch 1.13简介

#1.PyTorch1.13据官方介绍，PyTorch1.13中包括了BetterTransformer的稳定版，且不再支持CUDA10.2及11.3，并完成了向CUDA11.6及11.7的迁移。
mingqian_chu·2023-07-14 09:36

论文阅读-2：基于深度学习的大尺度遥感图像建筑物分割研究

一、该网络中采用了上下文信息捕获模块。通过扩大感受野，在保留细节信息的同时，在中心部分进行多尺度特征的融合，缓解了传统算法中细节信息丢失的问题；通过自适应地融合局部语义特征，该网络在空间特征和通道特征之间建立长距离的依赖关系；二、分割网络：边缘提取网络+细节优化网络E-netD-net将原始图像与E-Net的3通道分割结果作为D-Net的6通道输入进行级联
fenghx258·2023-07-14 07:14

Transformer结构与源码解读

Positional_Encoding:位置编码，因为transformer输入的单词之间是没有前后顺序关系的，不像RNN（一个单元的输入承接上一个单元的输入），所以需要通过位置编码来指定单词间的顺序。
不会念经的木鱼仔·2023-07-14 06:13

xFormers安装使用

xFormers是一个模块化和可编程的Transformer建模库，可以加速图像的生成。这种优化仅适用于nvidiagpus，它加快了图像生成，并降低了vram的使用量，而成本产生了非确定性的结果。
培根芝士·2023-07-14 04:12

Transformer

背景电脑并不能将数字信息和现实世界建立联系，给电脑一句话让他理解到意思需要词向量化。但是词向量话在正确性方面遇到了问题：电脑给的向量的初值都是随机值，所以结果大都是错的。解决办法信息压缩与特征提取：找到正确的规律（这里的“规律”是指：http://t.csdn.cn/ve9bD中的：词向量化（word2vec）的好处：一、好找规律：在高维空间内，相似的点（本质是一个向量）挨得近。）所以就需要：Tr
Erick Yu·2023-07-14 04:30

LLM(Large Language Model)大语言模型

涌现：语言模型够大，训练的语料够多，涌现出推理能力飙升等常见的大语言模型：GPT-3（OpenAI）：GenerativePre-trainedTransformer3（GPT-3）是最著名的LLM之一
Erick Yu·2023-07-14 04:13

语义分割大模型SAM论文阅读(二)

论文链接SegmentAnything开源代码链接SAM论文阅读摘要WeintroducetheSegmentAnything(SA)project:anewtask,model,anddatasetforimagesegmentation.Usingourefficientmodelinadatacollectionloop
qq_41627642·2023-07-14 03:10

Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual Grounding 论文阅读笔记

DynamicMDETR:ADynamicMultimodalTransformerDecoderforVisualGrounding论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位3.2
乄洛尘·2023-07-14 03:39

【论文阅读笔记】Attack-Resistant Federated Learning with Residual-based Reweighting

个人阅读笔记，如有错误欢迎指出Arxiv2019[1912.11464]Attack-ResistantFederatedLearningwithResidual-basedReweighting(arxiv.org)问题：联邦学习容易受到后门攻击创新：提出一种基于残差的重新加权聚合算法聚合算法将重复中值回归和加权最小二乘中的加权方案相结合方法：1)用重复中值估计回归线2)计算本地模型中第个参数的
MiaZX·2023-07-14 03:35

WiCo: Win-win Cooperation of Bottom-up and Top-down Referring Image Segmentation 论文阅读笔记

WiCo:Win-winCooperationofBottom-upandTop-downReferringImageSegmentation论文阅读笔记一、Abstract二、引言三、相关工作Top-down
乄洛尘·2023-07-14 03:00

RIS 系列 TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer 论文阅读笔记

RIS系列TransVG++:End-to-EndVisualGroundingwithLanguageConditionedVisionTransformer论文阅读笔记一、Abstract二、引言三
乄洛尘·2023-07-14 03:00

跨模态检索论文阅读：(PTP)Position-guided Text Prompt for Vision-Language Pre-training

(PTP)Position-guidedTextPromptforVision-LanguagePre-training视觉语言预训练的位置引导文本提示摘要视觉语言预训练(VLP)已经显示出将图像和文本对统一起来的能力，促进了各种跨模态的学习任务。然而，我们注意到，VLP模型往往缺乏视觉基础/定位能力，这对许多下游任务如视觉推理至关重要。在这项工作中，我们提出了一种新的位置引导的文本提示（PTP）
若年封尘·2023-07-14 02:54

Transformer原理理解

本文介绍Transformer的基本原理，主要记录一下自己的学习过程。
qiumokucao·2023-07-14 00:10

如何使用TensorRT部署CNN/Transformer/目标检测/BEV模型？

Transformer耗时太高怎么办？NMS太慢怎么办？后处理优化怎么做？BEV模型怎么部署上车？全都是问题，全都是细节！由于自动驾驶涉及的感知模块非常多，分类、分割、2D/3D检测、车道线、
计算机视觉研究院·2023-07-14 00:36

BEV专栏（二）从BEVFormer看BEV流程（下篇）

Transformer、目标检测、语义分割交流群欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术
CV技术指南(公众号)·2023-07-14 00:04

Vision Transformer（VIT）论文解读及实现

x∈RH∗W∗C=>x∈RN∗P2∗Cx\inR^{H*W*C}=>x\inR^{N*P^2*C}x∈RH∗W∗C=>x∈RN∗P2∗C固定每层的维度D不变，TheTransformerusesconstant
晚点吧·2023-07-14 00:01

Vision Transformer (ViT)介绍

paper：AnImageisWorth16x16Words:TransformersforImageRecognitionatScale摘要把transformer直接应用于图像块序列，也可以在图像分类任务上表现很好
qiumokucao·2023-07-14 00:29

BERT论文解读及实现（一）

BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding1论文解读1.1模型概览Therearetwostepsinourframework
晚点吧·2023-07-13 21:20

什么是GPT？

GPT全称是（GenerativePre-trainedTransformer），三个字母分别对应三个单词，其中：“Generative”表示该模型具有生成文本的能力。
氢气氧气氮气·2023-07-13 21:17

基于GPT构建单细胞多组学基础模型

特别是将大规模多样化的数据集与预训练的Transformer相结合，已经成为开发基础模型的一种有前途的方法。文本由单词组成，细胞可以通过基因进行表征。
tzc_fly·2023-07-13 21:16

第50步 深度学习图像识别：Data-efficient Image Transformers建模（Pytorch）

基于WIN10的64位系统演示一、写在前面（1）Data-efficientImageTransformersData-efficientImageTransformers(DeiT)是一种用于图像分类的新型模型
Jet4505·2023-07-13 20:38

Spatial Transformer Networks 论文详解及代码

Spatialtransformernetworks背景论文解析代码背景卷积神经网络在多种图像类中的任务表现出色，但有些图像类的任务需要对图像进行几何变换，需要实现一种可微的网络，使能对卷积网络中的特征图或寻常的图像
強云·2023-07-13 19:45

一些改cuda加速的思路：FlashAttention、PagedAttention、LightSeq、ByteTransformer

FlashAttentionFlashAttention一般指的是FlashAttention:FastandMemory-EfficientExactAttentionwithIO-Awareness这篇，当然TransformerQualityinLinearTime
taoqick·2023-07-13 18:42

如何用爬虫实现GPT功能

GPT（GenerativePre-trainedTransformer）和爬虫是两个完全不同的概念和技术。
华科℡云·2023-07-13 17:02

ChatGPT底层架构Transformer技术及源码实现（五）

ChatGPT底层架构Transformer技术及源码实现（五）3.5为何GPT-4才是NLP的真正重大突破？
段智华·2023-06-24 11:50

论文阅读笔记（一）：Weak Supervision for Fake News Detection via Reinforcement Learning

论文简介：这是一篇AAAI2019年收录的论文，由腾讯微信团队发表，本文主要介绍是用强化学习方法来进行垃圾新闻检测，强化学习可以获得高质量的带有标签的样本，本文提出了一个检测框架，通过微信官方账户实验数据表明，该方法的准确率高于已有的方法。原文地址：https://aaai.org/Papers/AAAI/2020GB/AISI-WangY.213.pdfCSU研一在读，科研萌新一枚，第一次在写论
·2023-06-24 10:38
上一页 105 106 107 108 109 110 111 112 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他