transformer论文阅读

《论文阅读28》Unsupervised 3D Shape Completion through GAN Inversion

GAN，全称GenerativeAdversarialNetworks，中文叫生成式对抗网络。顾名思义GAN分为两个模块，生成网络以及判别网络，其中生成网络负责根据随机向量产生图片、语音等内容，产生的内容是数据集中没有见过的，也可以称为虚假内容;而判别网络负责对生成网络产生的虚假内容和另一端输入的真实内容进行判断，判断其内容是否是真实的，通常它会给出一个概率来代表内容的真实度，真实内容打高分，虚假
Darren214·2023-12-21 10:47

【论文阅读笔记】PraNet: Parallel Reverse Attention Network for Polyp Segmentation

1.论文介绍PraNet:ParallelReverseAttentionNetworkforPolypSegmentationPraNet：用于息肉分割的并行反向注意力网络2020年发表在MICCAIPaperCode2.摘要结肠镜检查是检测结直肠息肉的有效技术，结直肠息肉与结直肠癌高度相关。在临床实践中，从结肠镜图像中分割息肉是非常重要的，因为它为诊断和手术提供了有价值的信息。然而，由于两个主
咔叽布吉·2023-12-21 10:16

AIGC：阿里开源大模型通义千问部署与实战

Qwen-7B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。
智慧医疗探索者·2023-12-21 06:54

RTDETR论文快速理解和代码快速实现(训练与预测)

RTDERT模型训练(data-->train)1、环境安装2、训练1、数据准备2、数据yaml文件3、训练代码4、训练运行结果3、推理1、推理代码2、推理运行结果总结前言最近，我们想比较基于DETR的transformer
tangjunjun-owen·2023-12-21 05:41

技术分析测试

整体架构流程提示：这里可以添加技术整体架构例如：在语言模型中，编码器和解码器都是由一个个的Transformer组件拼接在一起形成的。
青山渺渺·2023-12-21 04:11

【无标题】

整体架构流程提示：这里可以添加技术整体架构例如：在语言模型中，编码器和解码器都是由一个个的Transformer组件拼接在一起形成的。
青山渺渺·2023-12-21 04:11

【论文阅读】FreeU: Free Lunch in Diffusion U-Net

paper：https://arxiv.org/abs/2309.11497code：GitHub-ChenyangSi/FreeU:FreeU:FreeLunchinDiffusionU-Net1.intro贡献：•研究并揭示了U-Net架构在扩散模型中去噪的潜力，并确定其主要骨干主要有助于去噪，而其跳过连接将高频特征引入解码器模块。•介绍了“FreeU”，利用U-Net架构的两个组件的优势，来
李加号pluuuus·2023-12-21 01:32

【人工智能】LLM 大模型的本质：一个超高阶函数（函数式编程思想，高阶函数），大模型的本质是有巨大数量的函数复合组成的超高阶函数

——禅与计算机程序设计艺术文章目录LLM大型模型本质：采用函数式编程的超高阶函数思想1.函数式编程与超高阶函数的概念函数式编程超大量函数复合2.LLM大型模型中的函数复合设计Transformer模型如果用函数来表达
禅与计算机程序设计艺术·2023-12-21 01:59

P71自监督式学习

命名都以芝麻街的角色命名x分为x’和x’’，自己跟自己学bert架构跟transformerEncoder一样，输入一排向量，输出一排向量，一般用在自然语言处理上模型大小：x分为x’x’’自学习bert
闪闪发亮的小星星·2023-12-20 21:27

NLP论文阅读记录-ACL 2023 | 10 Best-k Search Algorithm for Neural Text Generation

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献二.相关工作2.1优势2.2挑战三.本文方法3.1并行探索3.2时间衰变3.3堆修剪3.4模型得分四实验效果4.1数据集4.2对比模型4.3实施细节4.4评估指标4.5实验结果五总结前言用于神经文本生成的Best-k搜索算法（2211）codepaper0、论文摘要现代自然语言生成范式需要良好的解码策略
yuyuyu_xxx·2023-12-20 18:15

NLP论文阅读记录 - AAAI 23 | 02 SUMREN：总结有关新闻事件的报道演讲

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献二.相关工作2.1新闻摘要2.2以查询为中心的摘要2.3新闻归因三.本文方法3.1SumREN基准3.1.1基准建设3.1.2统计3.1.3银牌训练数据生成3.2Models3.2.1以查询为中心的摘要基线3.2.2基于管道的摘要框架四实验效果4.1数据集4.2对比模型4.3实施细节4.4评估指标4.5
yuyuyu_xxx·2023-12-20 18:15

NLP论文阅读记录-ACL 2023 | 09 Improving Factuality of Abstractive Summarization without Sacrificing Summar

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献二.相关工作三.本文方法3.1候选集生成3.2排名策略四实验效果4.1数据集4.2对比模型4.3实施细节4.4评估指标4.5实验结果真实性与抽象性的权衡消融研究候选人选择过程。双重评分技术五总结局限性前言在不牺牲摘要质量的情况下提高抽象摘要的真实性（2305）codepaper0、论文摘要提高抽象概括的
yuyuyu_xxx·2023-12-20 18:14

NLP论文阅读记录-EMNLP 2023 | 03 Citance-Contextualized Summarization of Scientific Papers

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的工作1.2.1概括总结GenericSummarizationAbstract-basedsummarizationTL;DRsummarizationComprehensivesummarization1.2.2基于引文的摘要Citation-basedSummarization1.3本文贡献二.本文方法3.1情境总结
yuyuyu_xxx·2023-12-20 18:44

NLP论文阅读记录-EMNLP2023| 04 GEMINI: Controlling The Sentence-Level Summary Style in Abstractive Text

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的工作1.3本文贡献三.本文方法3.1句子级别的摘要风格HumanEvaluationofSummaryStyleAutomaticDetectionofSummaryStyleOracleLabelforSummaryStyle3.2GEMINI：重写器生成器网络InputandOutputDocumentEncoder
yuyuyu_xxx·2023-12-20 18:44

NLP论文阅读记录-EMNLP2023| 09 Background Summarization of Event Timelines

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献二.相关工作三.背景总结3.1任务3.2数据集构建3.3数据集分割3.4注释者间协议3.5后台效用分数(BUS)四实验效果4.1数据集4.2对比模型4.3实施细节4.4评估指标4.5实验结果4.5.1自动评估4.5.2人工评价五BUSAnalysis5.1BUS–GPT5.2BUS–Human5.3Co
yuyuyu_xxx·2023-12-20 18:44

NLP论文阅读记录-ACL 2023 | Improving the Robustness of Summarization Systems with Dual Augmentation

文章目录前言一、论文摘要二、论文动机2.1目标问题2.2相关工作三.本文工作3.1摘要攻击器受攻击的词选择器使用LM和梯度进行攻击3.2双重增强漏洞分析增强设计输入空间增强潜在语义空间增强四实验效果4.1数据集4.2对比模型4.3实施细节4.4评估指标4.5实验结果SummAttackerEvaluationRobustnessEvaluation噪声数据集的鲁棒性。受对抗性攻击干扰的数据集的鲁棒
yuyuyu_xxx·2023-12-20 18:13

NLP论文阅读记录-EMNLP 2023 | 02 Improving Biomedical Abstractive Summarisation with Knowledge Aggregation

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的工作1.3本文贡献三.本文方法3.1任务定义3.2来自引文的知识聚合3.3摘要生成3.4训练和推理四实验效果4.1数据集数据集的创建创建过程提取引文图4.2对比模型4.3实施细节4.4评估指标4.5实验结果自动评估人工评价深入分析五总结局限性前言通过引文论文的知识聚合改进生物医学抽象总结（2310）codepaper0、
yuyuyu_xxx·2023-12-20 18:13

NLP论文阅读记录 - AAAI-23 | 01 Cogito Ergo Summ：通过语义解析图和一致性奖励对生物医学论文进行抽象总结

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献二.相关工作2.1抽象概括2.2图增强摘要2.3抽象概括的强化学习三.本文方法COGITOERGOSUMM框架3.1问题陈述3.2图表构建**事件图****AMR图****图合并和重新连接**Model文本编码器图编码器解码器培训目标和一致性奖励四实验效果4.1数据集4.2对比模型4.3实施细节4.4评
yuyuyu_xxx·2023-12-20 18:41

大型语言模型：SBERT — Sentence-BERT

@slavahead一、介绍Transformer在NLP方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。
无水先生·2023-12-20 16:39

大型语言模型：RoBERTa — 一种稳健优化的 BERT 方法

BERT的架构源自Transformer，它在各种下游任务上取得了最先进的结果：语言建模、下一句预测、问答、NER标记等。尽管BERT性能出色，研究人员仍在继续尝试其配置，希望获得更好的指标。
无水先生·2023-12-20 16:39

x3::forward_ast

在BoostSpiritX3中，x3::forward_ast是一个转换器（transformer），用于将解析器（parser）的结果转发给用户自定义的结构。
qq_40178082·2023-12-20 15:20

[Big Bird]论文解读：Big Bird: Transformers for Longer Sequences

文章目录1介绍2模型架构3结果论文：BigBird:TransformersforLongerSequences作者：ManzilZaheer,GuruGuruganesh,AvinavaDubey,JoshuaAinslie
Bigcrab__·2023-12-20 14:30

[FNet]论文实现：FNet：Mixing Tokens with Fourier Transform

MixingTokenswithFourierTransforms作者：JamesLee-Thorp,JoshuaAinslie,IlyaEckstein,SantiagoOntanon时间：20221.介绍transformerencode
Bigcrab__·2023-12-20 14:00

最新Python深度学习技术进阶与应用

为了更加深入地学习人工智能领域最近3-5年的新理论与新技术，本内容采用“理论讲解+案例实战+动手实操+讨论互动”相结合的方式，抽丝剥茧、深入浅出讲解注意力机制、Transformer模型（BERT、GPT
weixin_贾·2023-12-20 13:43

Self-Supervised Masked Convolutional Transformer Block for Anomaly Detection 论文阅读

文章信息发表于：IEEETransactionsonPatternAnalysisandMachineIntelligenceJanuary2024CCFA原文链接：https://ieeexplore.ieee.org/document/10273635代码链接：https://github.com/ristea/ssmctb/Self-SupervisedMaskedConvolutional
何大春·2023-12-20 12:19

多层记忆增强外观-运动对齐框架用于视频异常检测 论文阅读

MULTI-LEVELMEMORY-AUGMENTEDAPPEARANCE-MOTIONCORRESPONDENCEFRAMEWORKFORVIDEOANOMALYDETECTION论文阅读摘要1.介绍
何大春·2023-12-20 12:19

一种基于外观-运动语义表示一致性的视频异常检测框架 论文阅读

AVIDEOANOMALYDETECTIONFRAMEWORKBASEDONAPPEARANCE-MOTIONSEMANTICSREPRESENTATIONCONSISTENCY论文阅读ABSTRACT1
何大春·2023-12-20 12:18

2021春季小结 #博士学习复盘笔记#

这个课每周的任务需要完成200-300页的阅读或者6-8篇论文阅读，再加上50
Ayla_wen·2023-12-20 11:24

Python Opencv实践 - 手部跟踪

mediapipe做手部检测的资料，可以参考这里：MediaPipeHands:On-deviceReal-timeHandTracking论文阅读笔记-知乎论文地址：https://arxiv.org
亦枫Leonlew·2023-12-20 09:28

【HuggingFace Transformer库学习笔记】基础组件学习：Tokenizer

基础组件——Tokenizer（1）模型加载fromtransformersimportAutoTokenizersen="弱小的我也有大梦想!"
辰阳星宇·2023-12-20 07:23

【深度学习】注意力机制（七）Agent Attention

本文介绍AgentAttention注意力机制，Transformer中的Attention模块可以提取全局语义信息，但是计算量太大，AgentAttention是一种计算非常有效的Attention模块
justld·2023-12-20 07:19

RASP技术相关内容DEMO实现

StringagentArgs,Instrumentationinst)throwsUnmodifiableClassException,IOException{readVersion();inst.addTransformer
强仔fight·2023-12-20 06:05

Transformer注意力机制模型介绍

Self-AttentionataHighLevel)编码器(Encoder)多头注意力机制(TheBeastWithManyHeads)残差神经网络解码器(Decoder)线性(Linear)层和softmax层位置编码总结参考文献前言Transformer
安替-AnTi·2023-12-20 06:28

nlp与cv的发展

Transformer的出现,促进了更高容量模型的建立,为大模型的出现奠定基础.大模型通常具有十亿个以上参数(仅供参考)左边的蓝色是CV领域、右下绿色是NLP、右上蓝色是多模态基础模型(FoundationalModels
卅拓·2023-12-20 01:58

PAMI2023: VLT: Vision-Language Transformer and Query Generation for Referring Segmentation

文章目录1、Abstract2、整体架构3、Spatial-DynamicMulti-ModalFusion4、QueryGenerationModule5、QueryBalanceModule6、MaskDecoder7、MaskedContrastiveLearning8、可视化结果1、Abstract提出了VLT框架，以促进多模态信息之间的深度交互，并增强对视觉语言特征的整体理解。为了应对语
masterleoo·2023-12-20 01:52

基于Swin_Transformer的图像超分辨率系统

1.研究背景与意义项目参考AAAIAssociationfortheAdvancementofArtificialIntelligence研究背景与意义随着科技的不断发展，图像超分辨率技术在计算机视觉领域中变得越来越重要。图像超分辨率是指通过使用计算机算法将低分辨率图像转换为高分辨率图像的过程。这项技术在许多领域都有广泛的应用，包括医学图像处理、监控摄像头、卫星图像处理等。在过去的几十年里，图像超
xuehai996·2023-12-20 00:32

【智慧之窗】AI驱动产品探索

一.初识ChatGPTChatGPT是由OpenAI开发的自然语言处理（NLP）模型，基于GPT（GenerativePre-trainedTransformer）架构。
檀越剑指大厂·2023-12-19 23:27

【论文阅读】BERTopic：采用一个基于类的TF-IDF流程进行神经网络的主题建模

具体来说，BERTopic采用预训练的基于transformer的语言模型来产生文档的嵌入，对这些文档嵌入进行聚类，并最后利用基于类的TF-IDF过程来产生话题的表示。BERT
沐兮Krystal·2023-12-19 22:51

DALL-E 系列：AI绘画背后的惊人真相！！【1个离奇内幕、3个意想不到、5大秘密揭示】

DALL-E系列：AI绘图原理，根据用户给出的描述，生成与描述相匹配的图像DALL-E1dVAETransformerDALL-E2CLIP先验priordecoder（image）DALL-E3论文地址
Debroon·2023-12-19 21:48

NLP之transformer-Task02attention&transformer

本此学习内容由datawhale提供，非常感谢datawhale。学习内容Attention相关原理背景：Attention出现的原因是什么？潜在的答案：基于循环神经网络（RNN）一类的seq2seq模型，在处理长文本时遇到了挑战，而对长文本中不同位置的信息进行attention有助于提升RNN的模型效果。1.什么是seq2seq模型？eq2seq是一种常见的NLP模型结构，全称是：sequenc
曼曼668·2023-12-19 21:17

（2021|ICCV，DINO，ViT，自监督学习，知识蒸馏）自监督视觉 Transformer 的新特性

EmergingPropertiesinSelf-SupervisedVisionTransformers公纵号：EDPJ（添加VX：CV_EDPJ或直接进Q交流群：922230617获取资料）目录0.
EDPJ·2023-12-19 19:51

一文图解 Transformer，小白也看得懂（完整版）

原作者：JayAlammar原链接：https://jalammar.github.io/illustrated-transformer1.导语谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果
Python算法实战·2023-12-19 17:03

论文阅读/中文记录，材料机器学习：Data-driven based phase constitution prediction in high entropy alloys

HanQ,LuZ,ZhaoS,etal.Data-drivenbasedphaseconstitutionpredictioninhighentropyalloys[J].ComputationalMaterialsScience,2022,215:111774.文章目录摘要1.引言2.方法2.1数据收集和处理2.2机器学习模型3.结果和分析3.1特征相关性3.2机器学习模型的预测性能3.3特征和
keith_VV·2023-12-19 15:22

The Annotated Transformer 最新翻译

2023版最新TheAnnotatedTransformer翻译原文地址：http://nlp.seas.harvard.edu/annotated-transformer/#hardware-and-schedule0
IT斜杆青年·2023-12-19 15:51

材料论文阅读/中文记录：Scaling deep learning for materials discovery

MerchantA,BatznerS,SchoenholzSS,etal.Scalingdeeplearningformaterialsdiscovery[J].Nature,2023:1-6.文章目录摘要引言生成和过滤概述GNoME主动学习缩放法则和泛化发现稳定晶体通过实验匹配和r2SCANr^2SCANr2SCAN进行验证有趣的组合家族扩大习得的原子间势零样本缩放和泛化筛选固态离子导体结论在线
keith_VV·2023-12-19 15:48

Transformer源码（带注释）

代码来源：Transformer代码(源码Pytorch版本)从零解读(Pytorch版本）在up主的注释下增加了一些自己的注释在看Transformer源码前，必须要先从李宏毅/李沐那里把注意力机制/
丸丸丸子w·2023-12-19 14:16

【pytorch】图像运行过程中，保证梯度情况下变换

self.patch_transformer(adv_patch,lab_batch,img_size,do_rotate=True,rand_loc=False)p_img_batch=self.patch_applier
prinTao·2023-12-19 14:29

一点技术细节

14-4:匈牙利算法HungarianAlgorithm_哔哩哔哩_bilibili课件：https://github.com/wangshusen/AdvancedAlgorithms.gitSWintransformer
じんじん·2023-12-19 11:18

论文阅读——Loss odyssey in medical image segmentation

Lossodysseyinmedicalimagesegmentationgithub：https://github.com/JunMa11/SegLossOdyssey这篇文章回顾了医学图像分割中的20种不同的损失函数，旨在回答：对于医学图像分割任务，我们应该选择哪种损失函数？首先是一张各类分割函数的图谱：介绍函数之前先定义字母符号的含义：，分别代表分割结果和GT，代表里面的每个体素，N是一张图
じんじん·2023-12-19 11:17

论文阅读——Semantic-SAM

Semantic-SAM可以做什么：整合了七个数据集：一般的分割数据集，目标级别分割数据集：MSCOCO,Objects365,ADE20k部分分割数据集：PASCALPart,PACO,PartImagenet,andSA-1BThedatasetsareSA-1B,COCOpanoptic,ADE20kpanoptic,PASCALpart,PACO,PartImageNet,andObjec
じんじん·2023-12-19 11:17
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他