transformer论文阅读

TRS 2024 论文阅读 | 基于点云处理和点Transformer网络的人体活动连续识别

基于点云处理和点Transformer网络的人体活动连
R.X. NLOS·2024-02-20 07:21

使用动态网格的流体动画 Fluid Animation with Dynamic Meshes 论文阅读笔记

目录引言背景方法离散化离散化的导数算子速度插值广义的半拉格朗日步重新网格化双向流固耦合和质量守恒原文：Klingner,BryanM.,etal.“Fluidanimationwithdynamicmeshes.”ACMSIGGRAPH2006Papers.2006.820-825.引言使用[Alliezetal.,2005]的方法动态生成不规则的四面体网格根据边界的位置、边界的形状、基于流体和速
hijackedbycsdn·2024-02-20 07:47

论文阅读-基于动态权重的一致性哈希微服务负载均衡优化

论文名称：基于动态权重的一致性哈希微服务负载均衡优化摘要随着互联网技术的发展，互联网服务器集群的负载能力正面临前所未有的挑战。在这样的背景下，实现合理的负载均衡策略变得尤为重要。为了达到最佳的效率，可以利用一致性哈希算法对集群负载均衡系统进行负载分配。针对微服务架构的服务器集群场景，本文分析了集群负载均衡的特性，并提出了一种基于虚拟节点的一致性哈希环设计与分割方法，以及基于动态权值的分配策略。在一
向来痴_·2024-02-20 07:46

论文阅读 - Non-Local Spatial Propagation Network for Depth Completion

文章目录1概述2模型说明2.1局部SPN2.2非局部SPN2.3结合置信度的亲和力学习2.3.1传统正则化2.3.2置信度引导的affinity正则化3效果3.1NYUDepthV23.2KITTIDepthCompletion参考资料1概述本文提出了一种非局部的空间传播网络用于深度图补全，简称为NLSPN。（1）为什么需要深度图补全？在AR、无人机控制、自动驾驶和运动规划等应用当中，需要知道物体
七元权·2024-02-20 07:46

【论文阅读笔记】AutoAugment:Learning Augmentation Strategies from Data

AutoAugment:LearningAugmentationStrategiesfromData摘要研究方法:本文描述了一种名为AutoAugment的简单程序，通过这个程序可以自动寻找改进的数据增强策略。研究设计了一个策略空间，其中策略包含多个子策略，在每个小批量数据中针对每张图片随机选择一个子策略。每个子策略由两个操作组成，每个操作是图像处理函数（如平移、旋转或剪切），以及应用这些函数的概
少写代码少看论文多多睡觉·2024-02-20 07:15

计算机视觉的应用23-OpenAI发布的文本生成视频大模型Sora的原理解密

本文概况性地将Sora模型生成视频主要分为三个步骤：视频压缩网络、空间时间潜在补丁提取以及视频生成的Transformer模型。
微学AI·2024-02-20 06:22

探索海洋世界，基于DETR(DEtection TRansformer)模型开发构建海洋场景下海洋生物检测识别分析系统

首先看下实例效果：DETR(DEtectionTRansformer)是一种基于Transformer架构的端到端目标检测模型。
Together_CZ·2024-02-20 06:20

『论文阅读|利用深度学习在热图像中实现无人机目标检测』

利用深度学习在热图像中实现无人机目标检测摘要1引言1.1小物体检测1.2物体检测中的模型组合1.3热图像处理2提出的模型2.1预测头数量2.2骨干网络优化2.3Transformerencoder模块2.4
Dymc·2024-02-20 06:42

『论文阅读|研究用于视障人士户外障碍物检测的 YOLO 模型』

研究用于视障人士户外障碍物检测的YOLO模型摘要1引言2相关工作2.1障碍物检测的相关工作2.2物体检测和其他基于CNN的模型3问题的提出4方法4.1YOLO4.2YOLOv54.3YOLOv64.4YOLOv74.5YOLOv84.6YOLO-NAS5实验和结果5.1数据集和预处理5.2训练和实现细节5.3性能指标5.4性能分析5.4.1YOLOv5的结果5.4.2YOLOv6的结果5.4.3Y
Dymc·2024-02-20 06:08

【深入理解Attention】Transformer的理解和代码实现

1Self-attention自注意力机制1.1QKV的理解attention和推荐算法有类似之处我们在电商购物平台上输入查询query，然后平台返回商品列表系统会根据query去查找所有相似度高的商品，商品自带的标签就是key，query与key相乘就得到相似度然后根据客户的评价给所有商品打分，得到value，评价高的value就高。用户喜不喜欢、评价高不高、销量高不高就是value最后，把相似
量子-Alex·2024-02-20 05:18

transformer-Attention is All You Need（一）

1.为什么需要transformer循环模型通常沿输入和输出序列的符号位置进行因子计算。通过在计算期间将位置与步骤对齐，它们根据前一步的隐藏状态和输入产生位置的隐藏状态序列。
liaolaa·2024-02-20 04:18

[模型学习]Transformer机制及其过程

Transformer的基本结构Transformer模型结构与seq2seq模型类似，Transformer是一种编码器-解码器结构的模型Transformer的过程——编码器(Encoder)Encoder
Amigo_5610·2024-02-20 04:46

transformer-Attention is All You Need（二）

transformer中的解码器解码器层每个解码器层根据给定的输入向目标方向进行特征提取，即完成解码过程transformer的解码器也是一个自回归模型，根据编码器的结果以及上一次预测的结果，对下一次可能出现的值进行特征表示
liaolaa·2024-02-20 04:45

Sora 和之前 Runway 在架构上的区别

答：简单来说Runway是基于扩散模型（DiffusionModel）的，而Sora是基于DiffusionTransformer。
richerg85·2024-02-20 03:00

【AIGC】大语言模型

这些模型基于Transformer架构，其中包含多头注意力层，堆叠在一个非常深的神经网络中。常见的LLM包括GPT-3、PaLM、Gala
AIGCExplore·2024-02-20 02:57

OpenAI全新发布文生视频模型：Sora！

我们利用对视频和图像潜在代码的时空Patches进行操作的Transformer架构。我
凌青羽·2024-02-20 01:39

Sora技术报告——Video generation models as world simulators

文章目录1.视频生成模型，可以视为一个世界模拟器2.技术内容2.1将可视数据转换成patches2.2视频压缩网络2.3SpacetimeLatentPatches2.4Scalingtransformers
我想静静，·2024-02-20 01:24

openAI的sora的技术原理是什么

OpenAI的Sora模型是一个视频生成模型，与GPT模型类似，Sora使用了Transformer架构，有很强的扩展性。
kfjh·2024-02-20 01:23

【论文精读】ESViT

摘要基于transformer的SSL方法在ImageNet线性检测任务上取得了最先进的性能，其关键原因在于使用了基于对比学习方法训练单尺度Transformer架构。
None-D·2024-02-19 22:40

【论文精读】DALL·E

摘要本文利用从互联网上收集的2.5亿个图像/文本对数据，训练了一个120亿参数的自回归transformer，进而得到一个可以通过自然语言/图像控制生成的高保真图像生成模型。
None-D·2024-02-19 22:40

草图三维模型生成论文阅读整理

论文终于接收啦！给草图研究做个收尾就去投实习！仅为个人整理，如有错误，欢迎指出！因为想给论文找创新点，所以需要大量阅读论文，部分论文会精读到实现的步骤，部分论文就记录一下思路。目前基于大模型和深度学习的三维重建任务可以简单分类为text23D，也就是文本控制转三维模型，一般使用语言模型提取文本的特征，然后去噪概率扩散模型生成多视角图像，最后再用NeRF进行三维重建，例如Dreamfusion、Ma
fisherisfish·2024-02-19 22:05

【论文精读】Latent Diffusion

摘要Diffusionmodels（DMs）被证明在复杂自然场景的高分辨率图像合成能力优于以往的GAN或autoregressive（AR）transformer。
None-D·2024-02-19 22:03

利用ChatGPT提升工作效率

ChatGPT，全称GenerativePre-trainedTransformer，是一种基于深度学习的自然语言处理技术。它由OpenAI团队开发，并已经在2018年6
沐知全栈开发·2024-02-19 21:49

ChatGPT魔法1： 背后的原理

的三个阶段1）上世纪50~60年代，计算机刚刚产生2）Machinelearning3）Deeplearning，有神经网络，最有代表性的是ChatGPT,GPT(GenerativePre-TrainedTransformer
王丰博·2024-02-19 18:22

深度学习的应用实例

自然语言处理（NLP）情感分析：深度学习模型如循环神经网络（RNN）和Transformer等已被广泛用于情感分析任务，例如识别文本中的情感倾向或情感类别。
数字化信息化智能化解决方案·2024-02-19 16:27

人工智能技术应用笔记（二）：OpenAI SORA文生视频模型技术报告全文中英对照 （GPT4翻译+人工润色）

Turningvisualdataintopatches（将视觉数据转换为图像块）Videocompressionnetwork（视频压缩网络）SpacetimeLatentPatches（隐空间时空编码块）Scalingtransformersforvideogeneration
穿越光年·2024-02-19 16:25

【AGI视频】Sora的奇幻之旅：未来影视创作的无限可能

Sora基于先进的Transformer架构，将AI与人类的创造力完美结合，为观众带来了前所未有的视听盛宴。Sora原理及代码Sora的核心原理基于先进的扩散模型。
德天老师·2024-02-19 16:24

OpenAI：Sora视频生成模型技术报告（中文）

我们利用transformer架构，在视频和图像潜在代码的时空补丁上运行。我们最大的模型Sora能够生成一分钟的高保真视频。我们的结果表明，缩放视频生成模型是构建物理世界通用模拟器的一条有希望的道路。
缘起性空、·2024-02-19 16:21

OpenAI视频生成模型Sora背后的技术及其深远的影响

其核心技术包括使用视觉块编码将不同格式的视频统一编码成Transformer可训练的嵌入向量，以及类似于扩散过程的UNet方法进行降维和升维的加噪与去噪操作。
知来者逆·2024-02-19 16:45

初识OLMo，一个完全开源的大模型代码

[all]orpipinstallai2-olmo2.基础的推理fromhf_olmoimport*#registerstheAuto*classesfromtransformersimportAutoModelForCausal
瓶子好亮·2024-02-19 15:47

peft库编写逻辑分析

Peft库编写逻辑分析（以LLaMa+prefix为例）Peft库加载finetune模型分析Peft生成代码importtorchfrompeftimportPeftModelfromtransformersimport
瓶子好亮·2024-02-19 15:17

论文阅读-PIM-tree：一种面向内存处理的抗偏移索引

论文名称：PIM-tree:ASkew-resistantIndexforProcessing-in-Memory摘要当今的内存索引性能受到内存延迟/带宽瓶颈的限制。Processing-in-memory(PIM)是一种新兴的方法，可能通过实现低延迟内存访问，其聚合内存带宽随PIM节点数量扩展，来缓解这种瓶颈。然而，在工作负载偏斜的情况下，PIM系统在最小化节点间通信和实现负载平衡之间存在固有的
向来痴_·2024-02-19 13:45

Transformer实战-系列教程19：DETR 源码解读6（编码器：TransformerEncoder类/TransformerEncoderLayer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:45

Transformer实战-系列教程20：DETR 源码解读7（解码器：TransformerDecoder类/TransformerDecoderLayer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:45

Transformer实战-系列教程18：DETR 源码解读5（Transformer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:44

【论文阅读笔记】Contrastive Learning with Stronger Augmentations

ContrastiveLearningwithStrongerAugmentations摘要基于提供的摘要，该论文的核心焦点是在对比学习领域提出的一个新框架——利用强数据增强的对比学习（ContrastiveLearningwithStrongerAugmentations，简称CLSA）。以下是对摘要的解析：问题陈述：表征学习（representationlearning）已在对比学习方法的推动
少写代码少看论文多多睡觉·2024-02-19 13:11

Attention Is All Your Need论文笔记

提出了一个新的简单网络架构——transformer，仅仅是基于注意力机制，完全免去递推和卷积，使得神经网络训练地速度极大地提高。
xiaoyan_lu·2024-02-19 13:09

使用八叉树模拟水和烟雾 Simulating Water and Smoke with an Octree Data Structure 论文阅读笔记

原文：Losasso,Frank,FrédéricGibou,andRonFedkiw.“Simulatingwaterandsmokewithanoctreedatastructure.”Acmsiggraph2004papers.2004.457-462.引言这篇文章扩展了[Popinet2003]的工作，拓展到表面自由流，并且使得八叉树不受限制自适应网格划分的一个缺点是，它的模板不是均匀的，
hijackedbycsdn·2024-02-19 13:08

PointMixer论文阅读笔记

MLP-mixer是最近很流行的一种网络结构，比起Transformer和CNN的节构笨重，MLP-mixer不仅节构简单，而且在图像识别方面表现优异。
ZHANG8023ZHEN·2024-02-19 13:35

MTR++论文阅读

不过在infer的时候这一部分不会进行用数据集聚类获得query轨迹点（goal点）：将goal点也进行Transformer，并且让上一帧模型的结果用于下一帧的模型推理，可以使模型的推
ZHANG8023ZHEN·2024-02-19 13:35

论文阅读-EMS: History-Driven Mutation for Coverage-based Fuzzing（2022）模糊测试

一、背景本文研究了基于覆盖率的模糊测试中的历史驱动变异技术。之前的研究主要采用自适应变异策略或集成约束求解技术来探索触发独特路径和崩溃的测试用例，但它们缺乏对模糊测试历史的细粒度重用，即它们在不同的模糊测试试验之间很大程度上未能正确利用模糊测试历史。本文提出了一种轻量级且高效的概率字节定向模型（PBOM），以捕获来自试验历史的字节级变异策略，并因此有效地触发独特路径和崩溃。本文还提出了一种新的历史
Che_Che_·2024-02-19 13:34

Transformer实战-系列教程21：DETR 源码解读8 损失计算:（SetCriterion类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:03

多模态基础---BERT

1.BERT简介BERT用于将一个输入的句子转换为word_embedding，本质上是多个Transformer的Encoder堆叠在一起。
aolaf·2024-02-19 12:02

关于VIT（Vision Transformer）的架构记录

在VIT模型设计中，尽可能地紧密遵循原始的Transformer模型（Vaswani等人，2017年）。
一条小小yu·2024-02-19 12:53

关于Swin Transformer的架构记录

SwinTransformer可以说是批着Transformer外表的卷积神经网络。具体的架构如下图所示：首先我们得到一张224*224*3的图片。通过分成4*4的patch，变成了56*56*48。
一条小小yu·2024-02-19 12:53

Transformer能解释一切吗？

提出Transformer的那篇论文《AttentionisAllYouNeed》问世已经是六年前的事了。当初的8位论文作者有6人出自谷歌，但到现在大多也已转身寻找新的故事。
软件工匠·2024-02-19 12:45

NLP_BERT与GPT争锋

文章目录介绍小结介绍在开始训练GPT之前，我们先比较一下BERT和GPT这两种基于Transformer的预训练模型结构，找出它们的异同。
you_are_my_sunshine*·2024-02-19 12:13

flutter报错总结

becausethefollowingdependenciesdon'tsupportnullsafety:package:flutter_swiperpackage:flutter_page_indicatorpackage:transformer_page_viewForsolutions
孤雁_南飞·2024-02-19 11:45

【报告解析】OpenAI Sora视频模型官方报告全解析 | 效果，能力以及基本原理

省流版1核心数据处理将视频数据整合成一个一个的Patch，方便统一训练数据，利用扩散Transformer架构2功能效果除了可以实现基础的文生视频外，实际上还有非常惊艳的视频延展，视频编辑，视频连接等多种功能
Qodicat·2024-02-19 11:54

SORA：OpenAI最新文本驱动视频生成大模型技术报告解读

Turningvisualdataintopatches：将视觉数据转换为补丁3、Videocompressionnetwork：视频压缩网络4、SpacetimeLatentPatches：时空潜在补丁5、Scalingtransformersforvideogeneration
_企鹅_·2024-02-19 11:21
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他