transformer论文阅读第39页

YOLOv8改进 | 2023 | 给YOLOv8换个RT-DETR的检测头（重塑目标检测前沿技术）

RT-DETR号称是打败YOLO的检测模型，其作为一种基于Transformer的检测方法，相较于传统的基于卷积的检测方法，提供了更为全面和深入的特征理解，将RT-DETR检测头融入YOLOv8，我们可以结合

Snu77·2023-12-04 21:47

初学者如何入门Generative AI：看两篇综述，玩几个应用感受一下先！超多高清大图，沉浸式体验

文章大纲综述与简介从神经网络到Transformer不同种类的深度神经网络transformer原理与解析BERTGPTTransformer结构演化与应用历史transformer在视觉上的应用AIGC

shiter·2023-12-04 15:46

[RoFormer]论文实现：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING

绝对位置编码2.3相对位置编码2.4旋转位置编码Long-termdecayAdaptionforlinearattention2.5模型效果三、过程实现四、整体总结论文：ROFORMER:ENHANCEDTRANSFORMERWITHROTARYPOSITIONEMBEDDING

Bigcrab__·2023-12-04 13:07

第29期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2023-12-04 13:07

[Bert]论文实现：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

架构层2.4输出层NSPCLS2.5BERT微调三、过程实现3.1导包3.2数据准备3.3模型建立3.4模型训练四、整体总结论文：BERT:Pre-trainingofDeepBidirectionalTransformersf

Bigcrab__·2023-12-04 13:06

[Transformer-XL]论文实现：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

文章目录一、完整代码二、论文解读2.1Transformer-XL的介绍2.2Transformer-XL的架构2.3相对位置编码2.4分段递归模型三、过程实现四、整体总结论文：Transformer-XL

Bigcrab__·2023-12-04 13:06

（pytorch进阶之路）Informer

论文：Informer:BeyondEfficientTransformerforLongSequenceTime-SeriesForecasting(AAAI’21BestPaper)看了一下以前的论文学习学习

likeGhee·2023-12-04 10:47

【论文阅读笔记】Large language models are reasoners with self-verification

Abs在LLM上提出了一个基于CoT的自我验证的方法来模仿人类的验算，并证明了它有用。原文：当一个大型语言模型(LLM)通过思维链(CoT)执行复杂推理时，它可能对个别错误高度敏感。为了解决这个问题，我们不得不培训验证人员(verifiers)。我们都知道，人类在推断出一个结论后，通常会通过重新验证来检查它，这可以避免一些错误。我们提出了一种称为自我验证的新方法，使用CoT的结论作为条件来构建一个

泪痣仓鼠厨·2023-12-04 07:51

Spatial Group-wise Enhance

之前的论文阅读笔记都是记在one-note里，按老师的要求以后要写博客，先体验一下。

鸽鸽七号·2023-12-04 07:40

掌握大型语言模型（LLM）技术：推理优化

堆叠Transformer层以创建大型模型可以获得更好的准确性、few-shot学习能力，甚至在各种语言任务中具有接近人类的涌现能力。

IT挂壁青年·2023-12-04 06:33

动手制作个人电脑对话机器人transformers+DialoGPT

简介：DialoGPT是一个对话模型，由微软基于GPT-2训练。由于DialoGPT在对话数据上进行了预训练，所以它比原始的GPT-2更擅长生成类似对话的文本。DialoGPT的主要目标是生成自然且连贯的对话，而不是在所有情况下都提供事实上的正确答案。此外，由于模型的预训练数据主要是英文，因此它可能无法很好地处理中文输入。在运行代码之前，请确保已经安装了HuggingFace的Transforme

玩转测试开发·2023-12-04 06:29

Elasticsearch：什么是大语言模型（LLM）？

大型语言模型使用Transformer模型，并使用大量数据集进行训练——因此规模很大。这使他们能够识别、翻译、预测或生成文本或其他内容。

Elastic 中国社区官方博客·2023-12-04 05:29

小样本目标检测综述__刘浩宇(导航与控制2021)论文阅读

小样本目标检测综述__刘浩宇(导航与控制2021)阅读0、引言早期采用了大量标注样本回归候选框的位置，但后来目标集和训练集数据分布不同导致检测效果下降。对于没有大量样本支持的小样本检测应用就需要使用先验知识来弥补样本的不足。可以分为三类：数据域通过先验知识来做数据增强，以弥补样本不足的问题，解决模型不收敛问题。模型域通过先验知识来限制模型复杂度，降低假设空间的大小，使得模型收敛加快。算法域通过先验

Mrwei_418·2023-12-04 04:19

二. BEV感知算法基础模块讲解

转换模块2.1LSS(Lift,SplatandShoot)2.2PseudoLiDAR3.从3D到2D转换模块3.1ExplicitMapping3.2ImplicitMapping4.BEV感知中的Transformer4.1

爱听歌的周童鞋·2023-12-04 03:32

论文阅读：Intensity-Aware Loss for Dynamic Facial Expression Recognition in the Wild（AAAI2023）

摘要与基于图像的静态人脸表情识别（SFER）任务相比，基于视频序列的动态人脸表情识别（DFER）任务更接近自然表情识别场景。然而，DFER往往更具挑战性。其中一个主要原因是视频序列通常包含具有不同表情强度的帧，特别是对于真实世界场景中的面部表情，而SFER中的图像经常呈现均匀且高的表情强度。然而，如果同等对待不同强度的表情，网络学习的特征将具有较大的类内差异和较小的类间差异，这对DFER是有害的。

卡拉比丘流形·2023-12-04 01:59

SETR

RethinkingSemanticSegmentationfromaSequence-to-SequencePerspectivewithTransformershttps://arxiv.org/abs

Valar_Morghulis·2023-12-04 00:47

脑电信号的注意机制:基于ViT的情绪识别:论文精读

论文题目：IntroducingAttentionMechanismforEEGSignals:EmotionRecognitionwithVisionTransformersAbstract—Theaccurateemotionalassessmentofhumanscanprovebeneficialinhealthcare

风清扬，夏邑·2023-12-04 00:05

Manipulating the loss calculation to enhance the training process of physics-informed neural

论文阅读：Manipulatingthelosscalculationtoenhancethetrainingprocessofphysics-informedneuralnetworkstosolvethe1DwaveequationManipulatingthelosscalculationtoenhancethetrainingprocessofphysics-informedneuraln

xuelanghanbao·2023-12-04 00:03

When and why PINNs fail to train A neural tangent kernel perspective

论文阅读：WhenandwhyPINNsfailtotrainAneuraltangentkernelperspectiveWhenandwhyPINNsfailtotrainAneuraltangentkernelperspectivePINN

xuelanghanbao·2023-12-04 00:32

A comprehensive study of non-adaptive and residual-based adaptive sampling

论文阅读：Acomprehensivestudyofnon-adaptiveandresidual-basedadaptivesamplingforphysics-informedneuralnetworksAcomprehensivestudyofnon-adaptiveandresidual-basedadaptivesamplingforphysics-informedneuralnetwo

xuelanghanbao·2023-12-04 00:01

Respecting causality is all you need for training physics-informed neural networks

论文阅读：Respectingcausalityisallyouneedfortrainingphysics-informedneuralnetworksRespectingcausalityisallyouneedfortrainingphysics-informedneuralnetworks

xuelanghanbao·2023-12-04 00:01

Characterizing possible failure modes in physics-informed neural networks

论文阅读：Characterizingpossiblefailuremodesinphysics-informedneuralnetworksCharacterizingpossiblefailuremodesinphysics-informedneuralnetworksPINN

xuelanghanbao·2023-12-04 00:01

Achieving High Accuracy with PINNs via Energy Natural Gradients

论文阅读：AchievingHighAccuracywithPINNsviaEnergyNaturalGradientsAchievingHighAccuracywithPINNsviaEnergyNaturalGradients

xuelanghanbao·2023-12-04 00:58

Re56：读论文 A Brief History of the Changing Roles of Case Prediction in AI and Law

诸神缄默不语-个人CSDN博文目录诸神缄默不语的论文阅读笔记和分类论文名称：ABriefHistoryoftheChangingRolesofCasePredictioninAIandLaw论文下载地址

诸神缄默不语·2023-12-03 23:09

论文阅读《Automatic Pavement Crack Detection Based on Hierarchical Feature Augmentation》

目录Abstract1INTRODUCTION2RELATEDWORK2.1TraditionalMethods2.2MachineLearningMethods2.3DeepLearningMethods3METHODOLOGY3.1HierarchicalFeatureExtractionNetwork3.2Muti-dilatedConvolution3.3HierachicalFeatur

深度不了·2023-12-03 22:58

CFPNet--FPN系列新作，关注层内特征规则

尽管一些方法试图在注意力机制或视觉transformer的帮助下学习紧凑的层内特征表示，但它们忽略了对密集预测任务很重要的被忽略的角区域。创新点：提出了一种

勤劳节俭阿美莉卡·2023-12-03 21:15

通义千问模型学习和 SDK试用

Qwen-14B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。

wangqiaowq·2023-12-03 21:00

Transformer的一点理解，附一个简单例子理解attention中的QKV

Transformer用于目标检测的开山之作DETR，论文作者在附录最后放了一段简单的代码便于理解DETR模型。

河北一帆·2023-12-03 16:22

Google Colab 现已支持直接使用 transformers 库

GoogleColab，全称Colaboratory，是GoogleResearch团队开发的一款产品。在Colab中，任何人都可以通过浏览器编写和执行任意Python代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab是一种托管式Jupyter笔记本服务。用户无需设置，就可以直接使用，同时还能获得GPU等计算资源的免费使用权限。通过与Colab团队的共同努力，Colab托管的运

Hugging Face·2023-12-03 16:50

HuggingFace学习笔记--Trainer的使用

Trainer可以快速进行模型训练的配置，一般需要设置训练的模型以及训练相关参数等；1-1--简单Demo代码importevaluatefromdatasetsimportload_datasetfromtransformersimportAutoTokenizer

晓晓纳兰容若·2023-12-03 15:42

HuggingFace学习笔记--BitFit高效微调

BitFit，全称是bias-termfine-tuning，其高效微调只去微调带有bias的参数，其余参数全部固定；2--实例代码fromdatasetsimportload_from_diskfromtransformersimportAutoTokenizer

晓晓纳兰容若·2023-12-03 15:39

使用pytorch从零开始实现迷你GPT

生成式建模知识回顾:[1]生成式建模概述[2]TransformerI，TransformerII[3]变分自编码器[4]生成对抗网络，高级生成对抗网络I，高级生成对抗网络II[5]自回归模型[6]归一化流模型

Garry1248·2023-12-03 15:03

Linguistic Steganalysis in Few-Shot Scenario论文阅读笔记

TIFS期刊A类期刊新知识点IntroductionLinguisticSteganalysisinFew-ShotScenario模型是个预训练方法。评估了四种文本加密分析方法，TS-CSW、TS-RNN、Zou、SeSy，用于分析和训练的样本都由VAE-Stego生产(编码方式使用AC编码)。实验是对比在少样本的情况下，各个模型的效果，当训练样本少于10的时候(few-shot)，上面提到的T

菜菜小堡·2023-12-03 15:17

【论文阅读】-使用小波变换进行数字图像模糊检测

使用小波变换进行数字图像模糊检测文章目录使用小波变换进行数字图像模糊检测1、论文提出的背景2、论文提出的模糊检测方案2.1不同边缘的模糊效果2.2边缘类型和锐度检测2.3方案实现步骤3、论文方案Python实现4、实验结果及总结本文将详细介绍HanghangTong、MingjingLi,HongjiangZhang、ChangshuiZhang在论文BlurDetectionforDigital

视觉&物联智能·2023-12-03 15:15

【动手学习pytorch笔记】36.Transformer实现

Transformer实现把前面几节的内容拼起来，muti-headAttention、positionalencoding…importmathimportpandasaspdimporttorchfromtorchimportnnfromd2limporttorchasd2l

YMK_0·2023-12-03 14:07

【工具分享】| 阅读论文神器使用技巧 AI润色 AI翻译

文章目录1使用技巧1.1功能一即时翻译1.2功能二文献跳转1.3功能三多设备阅读1.4功能四小组讨论笔记共享1.5功能五个人文献管理2其他功能超级喜欢Readpaper这一款论文阅读软件，吹爆他哈哈为什么

Qodi·2023-12-03 14:59

Hugging “Hugging Face“

后来他们为Google的BERT模型做了一个pytorch版的开源实现，得到了社区的广泛认可，并由此逐步开发出了Transformers库。

colorknight·2023-12-03 14:05

Chat-GPT原理

GPT原理核心是基于Transformer架构英文原文：Transformersarebasedonthe“attentionmechanism,”whichallowsthemodeltopaymoreattentiontosomeinputsthanothers

笑口常开的小丸子·2023-12-03 13:54

huggingface使用预训练模型入门

huggingface使用预训练模型入门huggingface的官方文档的地址：https://huggingface.co/docs/transformers/quicktour。

wenjurongyu·2023-12-03 13:47

深度学习回顾：七种网络

一、说明本文揭开CNN、Seq2Seq、FasterR-CNN和PPO，以及transformer和humg-face—编码和创新之路。对于此类编程的短小示例，用于对照观察，或做学习实验。

无水先生·2023-12-03 12:25

[论文阅读]VoxSet——Voxel Set Transformer

VoxSetVoxelSetTransformer:ASet-to-SetApproachto3DObjectDetectionfromPointClouds论文网址：VoxSet论文代码：VoxSet

一朵小红花HH·2023-12-03 09:47

[论文阅读]Generalized Attention——空间注意力机制

GeneralizedAttentionAnEmpiricalStudyofSpatialAttentionMechanismsinDeepNetworks论文网址：GeneralizedAttention论文代码：文章最后有GeneralizedAttention的实现代码简读论文本文主要研究了深度学习网络中的注意力机制。作者们从不同的角度对注意力机制进行了全面的分析和实证研究，包括自然语言处理

一朵小红花HH·2023-12-03 09:44

【论文阅读】CAN网络中基于时序信道的隐蔽认证算法

人工智能有点·2023-12-03 09:37

Safe and Practical GPU Computation in TrustZone论文阅读笔记

SafeandPracticalGPUComputationinTrustZone背景知识：youtubeGR视频讲解链接：ASPLOS’22-Session2A-GPUReplay:A50-KBGPUStackforClientML-YouTubeGPU软件栈：概念："GPU软件栈"指的是与GPU硬件相关的全部软件组件，通常包括GPU驱动程序、CUDA或OpenCL运行时、GPU加速库（如cuD

Blanche117·2023-12-03 09:37

《PFL》论文阅读笔记

一、概要随着联邦学习的发展，简单的聚合算法已经不在有效。但复杂的聚合算法使得联邦学习训练时间出现新的瓶颈。本文提出了并行联邦学习（parallelfederatedlearning，PFL），通过调换中心节点聚合和广播的顺序。本文算法的优点：在全局聚合计算时解锁了边缘节点，在边缘节点本地计算时解锁了中心节点，并且在计算过程中具有灵活的伸缩性。本文主要贡献：处理数据异构和网络掉队局部节点参与灵活性计

superY25·2023-12-03 09:07

【论文阅读】Bayes’ Rays：神经辐射场的不确定性量化

【论文阅读】Bayes’Rays：神经辐射场的不确定性量化1.Introduction2.Relatedwork3.Background3.2.NeuralLaplaceApproximations4.

WoooChi·2023-12-03 08:06

【GNN论文精读】A Gentle Introduction to Graph Neural Networks

论文地址：AGentleIntroductiontoGraphNeuralNetworks作者：谷歌的三位大佬时间：2021年参考李沐老师的论文讲解课而做的笔记Transformer论文逐段精读【论文精读

HiLittleBoat·2023-12-03 07:42

【模型报错记录】‘PromptForGeneration‘ object has no attribute ‘can_generate‘

·GitHub的问题描述：在使用model.generate()的时候报错：'PromptForGeneration'objecthasnoattribute'can_generate'解决方法：更换transformer

HiLittleBoat·2023-12-03 07:08

Transformer 的注意力头越多越好么

每个头区分度越大，相当于视角越多，这样的话按道理Transformer对目标可以进行更好的拟合。但注意力头真的是越多越好么？（不考虑过拟合和硬件条件的情况下）问题的关键是

孙庚辛·2023-12-03 04:14

【20230416】

老师又在讲深度学习和强化学习强化学习强化学习做的事情策略今日任务完成任务下周党课课表论文阅读论文标题论文作者Introduction图形模型和结果No-promisespeedTwo-daypromisespeedOne-daypromisespeed

limuqing_134·2023-12-03 04:39

推荐频道

transformer论文阅读

YOLOv8改进 | 2023 | 给YOLOv8换个RT-DETR的检测头（重塑目标检测前沿技术）

初学者如何入门Generative AI：看两篇综述，玩几个应用感受一下先！超多高清大图，沉浸式体验

[RoFormer]论文实现：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING

第29期 | GPTSecurity周报

[Bert]论文实现：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

[Transformer-XL]论文实现：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

（pytorch进阶之路）Informer

【论文阅读笔记】Large language models are reasoners with self-verification

Spatial Group-wise Enhance

掌握大型语言模型（LLM）技术：推理优化

动手制作个人电脑对话机器人transformers+DialoGPT

Elasticsearch：什么是大语言模型（LLM）？

小样本目标检测综述__刘浩宇(导航与控制2021)论文阅读

二. BEV感知算法基础模块讲解

论文阅读：Intensity-Aware Loss for Dynamic Facial Expression Recognition in the Wild（AAAI2023）

SETR

脑电信号的注意机制:基于ViT的情绪识别:论文精读

Manipulating the loss calculation to enhance the training process of physics-informed neural

When and why PINNs fail to train A neural tangent kernel perspective

A comprehensive study of non-adaptive and residual-based adaptive sampling

Respecting causality is all you need for training physics-informed neural networks

Characterizing possible failure modes in physics-informed neural networks

Achieving High Accuracy with PINNs via Energy Natural Gradients

Re56：读论文 A Brief History of the Changing Roles of Case Prediction in AI and Law

论文阅读《Automatic Pavement Crack Detection Based on Hierarchical Feature Augmentation》

CFPNet--FPN系列新作，关注层内特征规则

通义千问 模型学习 和 SDK试用

Transformer的一点理解，附一个简单例子理解attention中的QKV

Google Colab 现已支持直接使用 transformers 库

HuggingFace学习笔记--Trainer的使用

HuggingFace学习笔记--BitFit高效微调

使用pytorch从零开始实现迷你GPT

Linguistic Steganalysis in Few-Shot Scenario论文阅读笔记

【论文阅读】-使用小波变换进行数字图像模糊检测

【动手学习pytorch笔记】36.Transformer实现

【工具分享】| 阅读论文神器 使用技巧 AI润色 AI翻译

Hugging “Hugging Face“

Chat-GPT原理

huggingface使用预训练模型入门

深度学习回顾：七种网络

[论文阅读]VoxSet——Voxel Set Transformer

[论文阅读]Generalized Attention——空间注意力机制

【论文阅读】CAN网络中基于时序信道的隐蔽认证算法

Safe and Practical GPU Computation in TrustZone论文阅读笔记

《PFL》论文阅读笔记

【论文阅读】Bayes’ Rays：神经辐射场的不确定性量化

【GNN论文精读】A Gentle Introduction to Graph Neural Networks

【模型报错记录】‘PromptForGeneration‘ object has no attribute ‘can_generate‘

Transformer 的注意力头越多越好么

【20230416】

通义千问模型学习和 SDK试用

【工具分享】| 阅读论文神器使用技巧 AI润色 AI翻译