transformer论文阅读

【论文阅读】Iterative Poisson Surface Reconstruction (iPSR) for Unoriented Points

文章目录声明作者列表核心思想归纳算法流程机器翻译声明本帖更新中如有问题，望批评指正！如果有人觉得帖子质量差，希望在评论中给出建议，谢谢！作者列表FEIHOU（侯飞）、CHIYUWANG、WENCHENGWANG：中国科学院大学HONGQINCHENQIAN、YINGHE核心思想归纳  当一条从实体MMM内部发出并与等值面FFF相交的射线起点也在FFF内时，该射线与FFF的相交次数是奇数，其中n+1
坚果仙人·2023-11-03 18:29

论文阅读：One Embedder, Any Task: Instruction-Finetuned Text Embeddings

1.优势现存的emmbedding应用在新的task或者domain上时表现会有明显下降，甚至在相同task的不同domian上的效果也不行。这篇文章的重点就是提升embedding在不同任务和领域上的效果，特点是不需要用特定领域的数据进行finetune而是使用instuctionfinetuning就可以在不同的任务和领域上表现得很好。新提出的模型被叫做INSTRUCTOR，进行instruc
comli_cn·2023-11-03 18:26

PointNet 论文阅读

论文链接PointNetAbstract对于点云问题，由于其格式不规则，大多数研究人员将此类数据转换为规则的3D体素网格或图像集合。然而，这会导致数据不必要地庞大并导致问题在本文中，我们设计了一种直接消耗点云的新型神经网络，它很好地尊重了输入中点的排列不变性。我们的网络名为PointNet，为从对象分类、部分分割到场景语义解析等应用提供了统一的架构。Intro提出PointNet的原因由于点云或网
KrMzyc·2023-11-03 18:53

PointNet++ 论文阅读

论文链接PointNet++0.Abstract**背景：**PointNet的设计并未捕捉到度量空间中存在的局部结构，限制了其识别细粒度模式和适用于复杂场景的能力解决思路：引入了一种分层神经网络，该网络==在输入点集的嵌套分割上递归地应用PointNet==利用度量空间距离，网络能够学习具有不断上下文尺度增加的==局部特征==提出了新颖的==集合学习层，以自适应地组合多个尺度的特征==1.Int
KrMzyc·2023-11-03 18:53

Attention is all you need 论文阅读

性能最好的模型还通过注意力机制连接编码器和解码器提出Transformer，它完全基于注意力机制，完全不需要递归和卷积对两个机器翻译任务的实验表明，这些模型具有卓越的质量，同时具有更高的并行性，并且需要的训练时间显着减少
KrMzyc·2023-11-03 18:48

GPT引发智能AI时代潮流

GPT全名GenerativePre-trainedTransformer，是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。作为辅助工
萤箜·2023-11-03 11:22

论文阅读--从图像中检测杂草的深度学习技术综述

Title:AsurveyofdeeplearningtechniquesforweeddetectionfromimagesAbstract:TherapidadvancesinDeepLearning(DL)techniqueshaveenabledrapiddetection,localisation,andrecognitionofobjectsfromimagesorvideos.DLt
追忆苔上雪·2023-11-03 10:39

基于深度学习的实战项目1000个

CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
huihuang_8295·2023-11-03 10:08

人工智能-深度学习项目100项

CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
lyx_78932·2023-11-03 10:08

Transformer的Q、K、V和Mutil-Head Self-Attention（超详细解读）

目录一.什么是Q、K、V二.Mutil-HeadSelf-AttentionTransformer大行其道，在众多领域取得了不可忽视的成就。
陈子迩·2023-11-03 07:20

Kaggle - LLM Science Exam（四）：Platypus2-70B with Wikipedia RAG

1.5优秀notebook1.6RAG二、Platypus2-70BwithWikipediaRAG（Version8）2.1离线安装依赖2.2导入库并设置常量2.3设置辅助功能2.4SentenceTransformerClass2.5
神洛华·2023-11-03 07:39

《基于先验未知盲反卷积技术的包络谱重复瞬态的循环平稳性提取》阅读笔记及代码整理

论文阅读笔记及代码整理《Extractingcyclo-stationarityofrepetitivetransientsfromenvelopespectrumbasedonprior-unknownblinddeconvolutiontechnique
老蒋精髓·2023-11-03 06:32

05.大模型&大数据量

文章目录大模型顿悟时刻：EmergentAbility（涌动现象）CalibrationInverseScalingPrizeSwitchTransformers大数据量数据预处理去重模型大小与训练数据的选择
oldmao_2000·2023-11-03 02:58

使用 PyTorch 构建自定义 GPT

二、了解GPTGPT是GenerativePre-trainedTransformer的缩写，是一种充当解码器的Transformer模型。
无水先生·2023-11-03 02:42

transformers库使用--模型构建

1.GPT2相关模型1.1GPT2模型transformers.GPT2Model简介：最原始的GPT2模型（bareGPT2），transformer输出的hidden_state后不接任何特殊的网络层
orangerfun·2023-11-03 02:12

第24期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-11-03 00:28

第23期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-11-03 00:27

第22期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-11-03 00:26

超越CNN的ViT模型及其应用前景

©作者|苏菲Transformer模型在NLP领域获得了巨大的成功，以此为内核的超大规模预训练模型BERT、GPT-3在NLP各个任务中都大放异彩，令人瞩目。
CV案例精选·2023-11-02 23:58

【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

【论文阅读】BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding前言BERT是Google于2018年提出的NLP
EmoryHuang·2023-11-02 22:58

NLP之Bert实现文本分类

总结：1.代码展示fromtqdmimporttqdm#可以在循环中添加进度条x=[1,2,3]#listprint(x[:10]+[0]*-7)fromtransformers
赵孝正·2023-11-02 21:07

ChatGPT-自然语言处理模型

前言GPT（GenerativePre-trainedTransformer）是一种自然语言处理模型，具有强大的文本生成和理解能力。
auspicious航·2023-11-02 21:02

概念解析 | 神经网络中的位置编码(Positional Encoding)

本次辨析的概念是:PositionalEncoding神经网络中的位置编码(PositionalEncoding)AGentleIntroductiontoPositionalEncodinginTransformerModels
R.X. NLOS·2023-11-02 20:59

【联邦学习论文阅读】（AAAI-2021）Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating

论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/17301摘要提出一种新颖的融合了反向更新和双层异步并行的垂直联邦学习框架（VFB2），以及在此框架下的VFB2-SGD，VFB2-SVRG，VFB2-SAGA三种新算法，助力多方协同训练模型并且不泄漏数据隐私，并在一定程度上破解垂直联邦学习算法不够高效的难点。一、介绍纵向联邦学习存在的问题
Momahe·2023-11-02 19:54

MoCo V2：MoCo系列再升级

MomentumContrastforUnsupervisedVisualRepresentationLearning），到前几天挂在arxiv上面的MoCoV3（AnEmpiricalStudyofTrainingSelf-SupervisedVisualTransformers
ZOMI酱·2023-11-02 19:43

小样本图像目标检测研究综述——张振伟论文阅读

小样本图像目标检测研究综述——张振伟（计算机工程与应用2022）论文阅读目前，小样本图像目标检测方法多基于经典的俩阶段目标检测算法FasterR-CNN作为主干网络，当然也有将YOLO，SSD一阶段目标检测算法作为主干网络的
Mrwei_418·2023-11-02 14:28

移动端ViT新利器！苹果提出稀疏专家混合模型Mobile V-MoEs

目前MoE已经在自然语言处理和计算机视觉进行了广泛的应用，本文介绍一篇来自Apple的最新工作，在这项工作中，苹果转而探索使用稀疏的MoE来缩小视觉Transformer模型
TechBeat人工智能社区·2023-11-02 13:20

Vert.x学习笔记-异步编程和响应式系统

GPT是指GenerativePre-TrainedTransformer（生成式预训练Transformer模型），平时在生活和工作中碰到一些问题的时候会去通过这种方式来解决，一般用的比较多的是百度的文心一言同步阻塞模式该模式主要的行为特征就是当我们再执行某项操作时
有梦想的攻城狮·2023-11-02 13:44

多目标跟踪MOT论文阅读记录2（持续更新中...）

前文：多目标跟踪MOT论文阅读记录1_阿珩#的博客-CSDN博客1综述2检测后跟踪（trackingbydetection）2.1SeparateDetectionandEmbedding(SDE)1）
阿珩#·2023-11-02 12:38

[迁移学习]UniDAformer域自适应全景分割网络

原文的标题为：UniDAformer:UnifiedDomainAdaptivePanopticSegmentationTransformerviaHierarchicalMaskCalibration
ViperL1·2023-11-02 12:07

[迁移学习]DA-DETR基于信息融合的自适应检测模型

原文标题为：DA-DETR:DomainAdaptiveDetectionTransformerwithInformationFusion；发表于CVPR2023一、概述本文所描述的模型基于DETR，DETR
ViperL1·2023-11-02 11:01

Swin Transformer升级版来了！30亿参数，刷榜多项视觉任务，微软亚研原班人马打造...

视学算法报道编辑：杜伟、陈萍微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。
视学算法·2023-11-02 10:30

Swin Transformer升级版来了，30亿参数，刷榜多项视觉任务，微软亚研原班人马打造

微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。欢迎收藏学习，喜欢点赞支持。
机器学习社区·2023-11-02 10:51

Swin Transformer升级版来了！30亿参数，刷榜多项视觉任务

©作者|杜伟、陈萍来源|机器之心微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。
PaperWeekly·2023-11-02 10:48

浅谈开口互感器在越南美的工业云系统中的应用

Abstract:thispaperanalyzestheprincipleoflowvoltagesplitcorecurrenttransformer,an
acrelmyy·2023-11-02 09:30

为什么CNN自带位置信息，transformer没有

卷积神经网络（CNN）和变压器（Transformer）是两种在深度学习中广泛使用的神经网络架构，它们在处理数据的方式有一些重要的区别，其中之一是对位置信息的处理。
幸运的小菜鸟·2023-11-02 08:14

CV论文阅读大合集

YearNameAreamodeldescriptiondrawback2021ICMLClip（ContrastiveLanguage-ImagePre-training）contrastivelearning、zero-shotlearing、mutimodel用文本作为监督信号来训练可迁移的视觉模型CLIP’szero-shotperformance,althoughcomparableto
幸运的小菜鸟·2023-11-02 08:36

LLaMA加载时遇见：ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.

pipinstalltransformers[sentencepiece]
hj_caas·2023-11-02 08:30

ModuleNotFoundError: No module named ‘transformers.models.mmbt‘

使用simpletransformers时出现ModuleNotFoundError:Nomodulenamed'transformers.models.mmbt’错误。
hj_caas·2023-11-02 08:29

论文阅读 | CVPR2017 | EAST: An Efficient and Accurate Scene Text Detector

一为什么读这篇最近在做OCR相关的东西，EAST是文字检测的代表算法，在项目中也有用到，所以自然是必读了。二截止阅读时这篇论文的引用次数2019.3.4123次。相比其他通用领域有点少，但按细分领域来算也不少。三相关背景介绍旷视出品，17年4月挂到arXiv上，中了2017年的CVPR。一作XinyuZhou清华本科毕业后就在旷视工作了，二作姚聪不用多说，江湖人称聪神，上学在华科白翔团队。四关键词
ktulu7·2023-11-02 08:16

毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT

GPT全称GenerativePre-trainedTransformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
技术宅学长·2023-11-02 07:10

【论文阅读笔记】GLM-130B: AN OPEN BILINGUAL PRE-TRAINEDMODEL

Glm-130b:开放式双语预训练模型摘要我们介绍了GLM-130B，一个具有1300亿个参数的双语(英语和汉语)预训练语言模型。这是一个至少与GPT-3(达芬奇)一样好的100b规模模型的开源尝试，并揭示了如何成功地对这种规模的模型进行预训练。在这一过程中，我们面临着许多意想不到的技术和工程挑战，特别是在损失峰值和分歧方面。在本文中，我们介绍了GLM-130B的训练过程，包括它的设计选择，效率和
技术宅学长·2023-11-02 07:10

NLP 快速入门

文章目录前言NLP历史回顾NLP任务语料的标注AI语料标注师岗位职责TransformersHuggingFace模型中文文本分类使用NLTK进行文本分类参考链接开源NLP前言学习NLP，解决两个问题：
北极象·2023-11-02 04:32

Grad-CAM++: Improved Visual Explanations for Deep Convolutional Networks 论文阅读笔记

Grad-CAM++:ImprovedVisualExplanationsforDeepConvolutionalNetworks会议：WACV时间：2018年本文针对Grad-CAM中出现的问题，例如当图像中存在多个目标或单个物体存在多个部分时，显著图无法将其全部标注、显著图无法完整地捕获整个对象的结构。面对上述问题，本文在CAM和Grad-CAM的基础上提出一个全新的可解释性算法Grad-CA
Stalker_DAs·2023-11-02 02:45

注意力机制 - Transformer

文章目录1.简介2.多头注意力3.有掩码的多头注意力4.基于位置的前馈网络5.层归一化6.信息传递7.预测1.简介基于编码器-解码器架构来处理序列对跟使用注意力的seq2seq不同，Transformer
mango1698·2023-11-02 00:18

深度解读 ChatGPT基本原理

基于GPT（GenerativePre-trainedTransformer）技术构建。
技术狂潮AI·2023-11-02 00:18

ICCV 2023 Oral | CR-NeRF：从无约束图像集合中生成新视角的交叉光线神经辐射场

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【NeRF和Transformer】交流群Cross-RayNeuralRadianceFieldsforNovel-viewSynthesisfromUnconstrainedImageCollections
Amusi（CVer）·2023-11-01 21:13

后Transformer时代如何发展？

摘要视觉Transformer（ViT）已经通过使用基于注意力的编码器-解码器模型，彻底改变了这一领域。
自动驾驶之心·2023-11-01 21:09

ECCV 22丨BUTD-DETR：图像和点云的语言标定Transformer

来源：投稿作者：橡皮编辑：学姐论文链接：https://arxiv.org/abs/2112.08879[1]主页链接：https://github.com/nickgkan/butd\_detr[2]摘要：在二维和三维场景中，大多数模型的任务都是将指涉语句置地，学会从预先训练好的检测器提供的对象建议库中选择指涉对象。这是限制性的，因为话语可能涉及不同粒度级别的视觉实体，例如椅子、椅子腿或椅子前腿
深度之眼·2023-11-01 21:20

构建Transformer模型 | 在wikiText-2数据集上训练一个语言模型

0Introduction自然语言处理通用解决方案需要熟悉word2Vec,了解词向量如何建模重点在于Transformer网络架构，BERT训练方法，实际应用开源项目，都是现成的，套用进去就OK了提供预训练模型
Eva215665·2023-11-01 20:17
上一页 52 53 54 55 56 57 58 59 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他