TRansformer

认知篇-剖析LLM基座

其中，基于Transformer架构的预训练语言模型（PretrainedLanguageModel，PLM）更是成为了研究的热点。
·2024-02-20 18:29

openai chatGPT 原理通俗介绍

ChatGPT（GenerativePre-trainedTransformer）作为一种先进的语言生成模型，在各类对话系统和智能助手中得到了广泛应用。
·2024-02-20 18:29

Vis-TOP：视觉Transformer叠加处理器

摘要近年来，Transformer[23]在自然语言处理(NLP)领域取得了良好的效果，并开始向计算机视觉(CV)领域拓展。
离欢·2024-02-20 18:47

【Transformer养猪】Livestock Monitoring with Transformer

对牲畜行为的跟踪有助于在现代动物饲养场及早发现并预防传染病。除了经济收益，这将减少畜牧业中使用的抗生素数量，否则这些抗生素将进入人类的饮食，加剧抗生素耐药性的流行，这是导致死亡的主要原因。我们可以使用大多数现代农场都有的标准摄像机来监控牲畜。然而，大多数计算机视觉算法在这项任务中表现不佳，主要原因是:(i)农场饲养的动物看起来相同，缺乏任何明显的空间特征，(ii)现有的跟踪器都不能长时间保持健壮，
离欢·2024-02-20 18:47

聊聊transformers库； 微软推出ZeRO++技术：优化大型AI模型训练时间和成本

AI新闻微软推出ZeRO++技术：优化大型AI模型训练时间和成本摘要：据报道，微软研究人员最近发布了一项名为ZeRO++的新技术，旨在优化训练大型AI模型时常遇到的数据传输成本和带宽限制问题，可大幅减少训练时间和成本。ZeRO++建立在现有的ZeRO传输技术基础上，并通过提供增强的通信策略来提高训练效率并降低成本。通过对权重进行量化，ZeRO++可以减少参数通信量，同时保持训练精度。为了最小化通信
go2coding·2024-02-20 17:05

【Transformer】Transformer的简单了解：Positional Encoding、Self-attention、Batch 与 Layer Norm 等

自从2017年Transformer模型被提出以来，它已经从论文最初的机器翻译领域，转向语音，图像，视频等等方面的应用。
magic_ll·2024-02-20 16:38

第34期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
·2024-02-20 15:56

Bert基础(一)--transformer概览

1、简介当下最先进的深度学习架构之一，Transformer被广泛应用于自然语言处理领域。
Andy_shenzl·2024-02-20 14:22

第39期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
·2024-02-20 10:50

从代码的层面掌握LLM的路线

原则：从易到难，只用pytorch从第一个项目来熟悉transformer的使用；从第二个项目来掌握对训练数据的使用方法及transformer的decoder的细节；从第三个项目来理解LLM的整个过程
Eloudy·2024-02-20 08:41

OpenAI Sora视频模型技术原理报告解读

•技术细节写得比较泛（防止别人模仿）大概就是用视觉块编码（visualpatch）的方式，把不同格式的视频统一编码成了用transformer架构能够训练的embeding，然后引入类似diffusion
AI周红伟·2024-02-20 08:58

OpenAI Sora视频生成模型技术报告中英全文+总结+影响分析

技术细节写得比较泛（防止别人模仿）大概就是用视觉块编码（visualpatch）的方式，把不同格式的视频统一编码成了用transformer架构能够训练的embeding，然后引入类似diffusion
龙腾亚太·2024-02-20 08:25

OpenAI Sora视频生成模型技术报告中英全文

作者利用对视频和图像潜在代码的时空补丁进行操作的transformer架构，其最大的模型Sora能够生成长达一分钟的高质量视频。
人工智能学家·2024-02-20 08:23

Sora专辑|OpenAI Sora视频生成模型技术报告中英全文+总结+影响分析

•技术细节写得比较泛（防止别人模仿）大概就是用视觉块编码（visualpatch）的方式，把不同格式的视频统一编码成了用transformer架构能够训练的embeding，然后引入类似diffusion
明矛顿了·2024-02-20 08:49

TRS 2024 论文阅读 | 基于点云处理和点Transformer网络的人体活动连续识别

基于点云处理和点Transformer网络的人体活动连
R.X. NLOS·2024-02-20 07:21

计算机视觉的应用23-OpenAI发布的文本生成视频大模型Sora的原理解密

本文概况性地将Sora模型生成视频主要分为三个步骤：视频压缩网络、空间时间潜在补丁提取以及视频生成的Transformer模型。
微学AI·2024-02-20 06:22

探索海洋世界，基于DETR(DEtection TRansformer)模型开发构建海洋场景下海洋生物检测识别分析系统

首先看下实例效果：DETR(DEtectionTRansformer)是一种基于Transformer架构的端到端目标检测模型。
Together_CZ·2024-02-20 06:20

『论文阅读|利用深度学习在热图像中实现无人机目标检测』

利用深度学习在热图像中实现无人机目标检测摘要1引言1.1小物体检测1.2物体检测中的模型组合1.3热图像处理2提出的模型2.1预测头数量2.2骨干网络优化2.3Transformerencoder模块2.4
Dymc·2024-02-20 06:42

【深入理解Attention】Transformer的理解和代码实现

1Self-attention自注意力机制1.1QKV的理解attention和推荐算法有类似之处我们在电商购物平台上输入查询query，然后平台返回商品列表系统会根据query去查找所有相似度高的商品，商品自带的标签就是key，query与key相乘就得到相似度然后根据客户的评价给所有商品打分，得到value，评价高的value就高。用户喜不喜欢、评价高不高、销量高不高就是value最后，把相似
量子-Alex·2024-02-20 05:18

transformer-Attention is All You Need（一）

1.为什么需要transformer循环模型通常沿输入和输出序列的符号位置进行因子计算。通过在计算期间将位置与步骤对齐，它们根据前一步的隐藏状态和输入产生位置的隐藏状态序列。
liaolaa·2024-02-20 04:18

[模型学习]Transformer机制及其过程

Transformer的基本结构Transformer模型结构与seq2seq模型类似，Transformer是一种编码器-解码器结构的模型Transformer的过程——编码器(Encoder)Encoder
Amigo_5610·2024-02-20 04:46

transformer-Attention is All You Need（二）

transformer中的解码器解码器层每个解码器层根据给定的输入向目标方向进行特征提取，即完成解码过程transformer的解码器也是一个自回归模型，根据编码器的结果以及上一次预测的结果，对下一次可能出现的值进行特征表示
liaolaa·2024-02-20 04:45

Sora 和之前 Runway 在架构上的区别

答：简单来说Runway是基于扩散模型（DiffusionModel）的，而Sora是基于DiffusionTransformer。
richerg85·2024-02-20 03:00

【AIGC】大语言模型

这些模型基于Transformer架构，其中包含多头注意力层，堆叠在一个非常深的神经网络中。常见的LLM包括GPT-3、PaLM、Gala
AIGCExplore·2024-02-20 02:57

OpenAI全新发布文生视频模型：Sora！

我们利用对视频和图像潜在代码的时空Patches进行操作的Transformer架构。我
凌青羽·2024-02-20 01:39

Sora技术报告——Video generation models as world simulators

文章目录1.视频生成模型，可以视为一个世界模拟器2.技术内容2.1将可视数据转换成patches2.2视频压缩网络2.3SpacetimeLatentPatches2.4Scalingtransformers
我想静静，·2024-02-20 01:24

openAI的sora的技术原理是什么

OpenAI的Sora模型是一个视频生成模型，与GPT模型类似，Sora使用了Transformer架构，有很强的扩展性。
kfjh·2024-02-20 01:23

【论文精读】ESViT

摘要基于transformer的SSL方法在ImageNet线性检测任务上取得了最先进的性能，其关键原因在于使用了基于对比学习方法训练单尺度Transformer架构。
None-D·2024-02-19 22:40

【论文精读】DALL·E

摘要本文利用从互联网上收集的2.5亿个图像/文本对数据，训练了一个120亿参数的自回归transformer，进而得到一个可以通过自然语言/图像控制生成的高保真图像生成模型。
None-D·2024-02-19 22:40

【论文精读】Latent Diffusion

摘要Diffusionmodels（DMs）被证明在复杂自然场景的高分辨率图像合成能力优于以往的GAN或autoregressive（AR）transformer。
None-D·2024-02-19 22:03

利用ChatGPT提升工作效率

ChatGPT，全称GenerativePre-trainedTransformer，是一种基于深度学习的自然语言处理技术。它由OpenAI团队开发，并已经在2018年6
沐知全栈开发·2024-02-19 21:49

ChatGPT魔法1： 背后的原理

的三个阶段1）上世纪50~60年代，计算机刚刚产生2）Machinelearning3）Deeplearning，有神经网络，最有代表性的是ChatGPT,GPT(GenerativePre-TrainedTransformer
王丰博·2024-02-19 18:22

深度学习的应用实例

自然语言处理（NLP）情感分析：深度学习模型如循环神经网络（RNN）和Transformer等已被广泛用于情感分析任务，例如识别文本中的情感倾向或情感类别。
数字化信息化智能化解决方案·2024-02-19 16:27

人工智能技术应用笔记（二）：OpenAI SORA文生视频模型技术报告全文中英对照 （GPT4翻译+人工润色）

Turningvisualdataintopatches（将视觉数据转换为图像块）Videocompressionnetwork（视频压缩网络）SpacetimeLatentPatches（隐空间时空编码块）Scalingtransformersforvideogeneration
穿越光年·2024-02-19 16:25

【AGI视频】Sora的奇幻之旅：未来影视创作的无限可能

Sora基于先进的Transformer架构，将AI与人类的创造力完美结合，为观众带来了前所未有的视听盛宴。Sora原理及代码Sora的核心原理基于先进的扩散模型。
德天老师·2024-02-19 16:24

OpenAI：Sora视频生成模型技术报告（中文）

我们利用transformer架构，在视频和图像潜在代码的时空补丁上运行。我们最大的模型Sora能够生成一分钟的高保真视频。我们的结果表明，缩放视频生成模型是构建物理世界通用模拟器的一条有希望的道路。
缘起性空、·2024-02-19 16:21

OpenAI视频生成模型Sora背后的技术及其深远的影响

其核心技术包括使用视觉块编码将不同格式的视频统一编码成Transformer可训练的嵌入向量，以及类似于扩散过程的UNet方法进行降维和升维的加噪与去噪操作。
知来者逆·2024-02-19 16:45

初识OLMo，一个完全开源的大模型代码

[all]orpipinstallai2-olmo2.基础的推理fromhf_olmoimport*#registerstheAuto*classesfromtransformersimportAutoModelForCausal
瓶子好亮·2024-02-19 15:47

peft库编写逻辑分析

Peft库编写逻辑分析（以LLaMa+prefix为例）Peft库加载finetune模型分析Peft生成代码importtorchfrompeftimportPeftModelfromtransformersimport
瓶子好亮·2024-02-19 15:17

Transformer实战-系列教程19：DETR 源码解读6（编码器：TransformerEncoder类/TransformerEncoderLayer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:45

Transformer实战-系列教程20：DETR 源码解读7（解码器：TransformerDecoder类/TransformerDecoderLayer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:45

Transformer实战-系列教程18：DETR 源码解读5（Transformer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:44

Attention Is All Your Need论文笔记

提出了一个新的简单网络架构——transformer，仅仅是基于注意力机制，完全免去递推和卷积，使得神经网络训练地速度极大地提高。
xiaoyan_lu·2024-02-19 13:09

PointMixer论文阅读笔记

MLP-mixer是最近很流行的一种网络结构，比起Transformer和CNN的节构笨重，MLP-mixer不仅节构简单，而且在图像识别方面表现优异。
ZHANG8023ZHEN·2024-02-19 13:35

MTR++论文阅读

不过在infer的时候这一部分不会进行用数据集聚类获得query轨迹点（goal点）：将goal点也进行Transformer，并且让上一帧模型的结果用于下一帧的模型推理，可以使模型的推
ZHANG8023ZHEN·2024-02-19 13:35

Transformer实战-系列教程21：DETR 源码解读8 损失计算:（SetCriterion类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:03

多模态基础---BERT

1.BERT简介BERT用于将一个输入的句子转换为word_embedding，本质上是多个Transformer的Encoder堆叠在一起。
aolaf·2024-02-19 12:02

关于VIT（Vision Transformer）的架构记录

在VIT模型设计中，尽可能地紧密遵循原始的Transformer模型（Vaswani等人，2017年）。
一条小小yu·2024-02-19 12:53

关于Swin Transformer的架构记录

SwinTransformer可以说是批着Transformer外表的卷积神经网络。具体的架构如下图所示：首先我们得到一张224*224*3的图片。通过分成4*4的patch，变成了56*56*48。
一条小小yu·2024-02-19 12:53

Transformer能解释一切吗？

提出Transformer的那篇论文《AttentionisAllYouNeed》问世已经是六年前的事了。当初的8位论文作者有6人出自谷歌，但到现在大多也已转身寻找新的故事。
软件工匠·2024-02-19 12:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他