Transformer】

beam search原理与常见实现，与直接sample的区别

BeamSearch与直接Sample的区别1.确定性与随机性2.结果多样性3.性能与效率4.应用场景常见的BeamSearch实现1.TensorFlow库2.PyTorch库3.HuggingFace的Transformers
samoyan·2024-03-11 13:11

Transformer、BERT和GPT 自然语言处理领域的重要模型

Transformer、BERT和GPT都是自然语言处理领域的重要模型，它们之间有一些区别和联系。
Jiang_Immortals·2024-03-08 23:21

[论文笔记] Transformer-XL

这篇论文提出的Transformer-XL主要是针对Transformer在解决长依赖问题中受到固定长度上下文的限制，如Bert采用的Transformer最大上下文为512（其中是因为计算资源的限制，
心心喵·2024-03-08 14:09

ChatGPT介绍

它基于Transformer架构，这是一种在自然语言处理（NLP）领域取得突破的深度学习方法。通过在海量的互联网文本数据上进行预训练，ChatGPT获得了强大的语言理解和生成能力。
程序媛9688·2024-03-07 11:03

VisionLLaMA: A Unified LLaMA Interface for Vision Tasks

VisionLLaMA:AUnifiedLLaMAInterfaceforVisionTasks相关链接：arxivgithub关键字：VisionLLaMA、visiontransformers、imagegeneration
liferecords·2024-03-06 21:47

Sora - 探索AI视频模型的无限可能

其次，Sora在技术上采用了扩散型变换器（DiffusionTransformer）架构。这种架构结合了扩散模型和变换器模型
nanshaws·2024-03-06 08:31

转载--OpenAI视频生成模型Sora的全面解析：从ViViT、Diffusion Transformer到NaViT、VideoPoet

前言真没想到，距离视频生成上一轮的集中爆发(详见《Sora之前的视频生成发展史：从Gen2、EmuVideo到PixelDance、SVD、Pika1.0》)才过去三个月，没想OpenAI一出手，该领域又直接变天了自打2.16日OpenAI发布sora以来(其开发团队包括DALLE3的4作TimBrooks、DiT一作BillPeebles、三代DALLE的核心作者之一AdityaRamesh等1
依然风yrlf·2024-03-05 09:02

关于MediaEval数据集的Dataset构建（Text部分-使用PLM BERT）

importrandomimportnumpyasnpimportpandasaspdimporttorchfromtransformersimportBertModel,BertTokenizerfromtqdm.autoimporttqdmfromtorch.utils.dataimportDatasetimportre
Coisíní℘·2024-03-04 18:42

Transformer结构介绍和Pyotrch代码实现

Transformer结构介绍和Pyotrch代码实现关注B站查看更多手把手教学：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频(bilibili.com)基本结构介绍Transformer结构是近年来自然语言处理
肆十二·2024-03-03 15:35

你下个Vite项目能不能用上Lightning CSS

LightningCSS什么是LightningCSS引用官方的介绍：AnextremelyfastCSSparser,transformer,bundler,andminifier.一个非常快的CSS
·2024-03-03 06:06

Mamba 作者谈 LLM 未来架构

前言在大模型领域，一直稳站C位的Transformer最近似乎有被超越的趋势。这个挑战者就是一项名为【Mamba】的研究，其在语言、音频和基
JOYCE_Leo16·2024-02-28 20:04

Transformer视频理解学习的笔记

今天复习了Transformer,ViT,学了SwinTransformer,还有观看了B站视频理解沐神系列串讲视频上（24.2.26未看完,明天接着看）这里面更多论文见：https://github.com
LinlyZhai·2024-02-28 14:26

基于深度学习的中文语音识别系统（毕设）

该系统实现了基于深度框架的语音识别中的声学模型和语言模型建模，其中声学模型包括CNN-CTC、GRU-CTC、CNN-RNN-CTC，语言模型包含transformer、CBHG，数据集包含stc、primewords
程序员奇奇·2024-02-28 11:53

一些大佬的可解释人工智能的优质资料整理及总结（更新中）

针对Transformer系列模型的模型可解释性分析：1.关于Transformer可解释性的介绍：Transformer模型的可解释性内容总结：2.关于VIT模型的可解释性研究介绍：VisionTransformer
Trouville01·2024-02-27 15:57

Attention注意力机制

网上的文章总把Attention注意力机制和Transformer模型结合来讲，看起来非常复杂。实际上Attention不仅作用于自然语言处理领域，目前已是很通用的技术。
xieyan0811·2024-02-25 16:44

大模型量化技术原理-LLM.int8()、GPTQ

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
吃果冻不吐果冻皮·2024-02-20 21:39

【机器学习案例5】语言建模 - 最常见的预训练任务一览表

自监督学习(SSL)是基于Transformer的预训练语言模型的支柱，该范例涉及解决有助于建模自然语言的预训练任务(PT)。本文将所有流行的预训练任务放在一起，以便我们一目了然地评估它们。
suoge223·2024-02-20 20:05

java实现Word文件转换成PDF

坐标com.documents4jdocuments4j-local1.0.3com.documents4jdocuments4j-api1.0.3com.documents4jdocuments4j-transformer-msoffice-word1.0.3
@Ciano·2024-02-20 19:03

Java 实现 WORD转PDF，用Documents4j

https://stackoverflow.com/a/59624576依赖：com.documents4jdocuments4j-local1.0.3com.documents4jdocuments4j-transformer-msoffice-word1.0.3Java
总有刁民想害朕啊·2024-02-20 19:32

openai chat GPT-4 Technical Report 技术报告论文

GPT-4是基于Transformer架构的模型，经过预训练以预测文档中的下一个标记。后训练对齐过程导致在事实性和符合所需行为方面的性能得到改善。该
·2024-02-20 19:06

openai chat GPT-4 Technical Report 技术报告论文

GPT-4是基于Transformer架构的模型，经过预训练以预测文档中的下一个标记。后训练对齐过程导致在事实性和符合所需行为方面的性能得到改善。该
·2024-02-20 18:30

认知篇-剖析LLM基座

其中，基于Transformer架构的预训练语言模型（PretrainedLanguageModel，PLM）更是成为了研究的热点。
·2024-02-20 18:29

openai chatGPT 原理通俗介绍

ChatGPT（GenerativePre-trainedTransformer）作为一种先进的语言生成模型，在各类对话系统和智能助手中得到了广泛应用。
·2024-02-20 18:29

Vis-TOP：视觉Transformer叠加处理器

摘要近年来，Transformer[23]在自然语言处理(NLP)领域取得了良好的效果，并开始向计算机视觉(CV)领域拓展。
离欢·2024-02-20 18:47

【Transformer养猪】Livestock Monitoring with Transformer

对牲畜行为的跟踪有助于在现代动物饲养场及早发现并预防传染病。除了经济收益，这将减少畜牧业中使用的抗生素数量，否则这些抗生素将进入人类的饮食，加剧抗生素耐药性的流行，这是导致死亡的主要原因。我们可以使用大多数现代农场都有的标准摄像机来监控牲畜。然而，大多数计算机视觉算法在这项任务中表现不佳，主要原因是:(i)农场饲养的动物看起来相同，缺乏任何明显的空间特征，(ii)现有的跟踪器都不能长时间保持健壮，
离欢·2024-02-20 18:47

聊聊transformers库； 微软推出ZeRO++技术：优化大型AI模型训练时间和成本

AI新闻微软推出ZeRO++技术：优化大型AI模型训练时间和成本摘要：据报道，微软研究人员最近发布了一项名为ZeRO++的新技术，旨在优化训练大型AI模型时常遇到的数据传输成本和带宽限制问题，可大幅减少训练时间和成本。ZeRO++建立在现有的ZeRO传输技术基础上，并通过提供增强的通信策略来提高训练效率并降低成本。通过对权重进行量化，ZeRO++可以减少参数通信量，同时保持训练精度。为了最小化通信
go2coding·2024-02-20 17:05

【Transformer】Transformer的简单了解：Positional Encoding、Self-attention、Batch 与 Layer Norm 等

自从2017年Transformer模型被提出以来，它已经从论文最初的机器翻译领域，转向语音，图像，视频等等方面的应用。
magic_ll·2024-02-20 16:38

第34期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
·2024-02-20 15:56

Bert基础(一)--transformer概览

1、简介当下最先进的深度学习架构之一，Transformer被广泛应用于自然语言处理领域。
Andy_shenzl·2024-02-20 14:22

第39期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
·2024-02-20 10:50

从代码的层面掌握LLM的路线

原则：从易到难，只用pytorch从第一个项目来熟悉transformer的使用；从第二个项目来掌握对训练数据的使用方法及transformer的decoder的细节；从第三个项目来理解LLM的整个过程
Eloudy·2024-02-20 08:41

OpenAI Sora视频模型技术原理报告解读

•技术细节写得比较泛（防止别人模仿）大概就是用视觉块编码（visualpatch）的方式，把不同格式的视频统一编码成了用transformer架构能够训练的embeding，然后引入类似diffusion
AI周红伟·2024-02-20 08:58

OpenAI Sora视频生成模型技术报告中英全文+总结+影响分析

技术细节写得比较泛（防止别人模仿）大概就是用视觉块编码（visualpatch）的方式，把不同格式的视频统一编码成了用transformer架构能够训练的embeding，然后引入类似diffusion
龙腾亚太·2024-02-20 08:25

OpenAI Sora视频生成模型技术报告中英全文

作者利用对视频和图像潜在代码的时空补丁进行操作的transformer架构，其最大的模型Sora能够生成长达一分钟的高质量视频。
人工智能学家·2024-02-20 08:23

Sora专辑|OpenAI Sora视频生成模型技术报告中英全文+总结+影响分析

•技术细节写得比较泛（防止别人模仿）大概就是用视觉块编码（visualpatch）的方式，把不同格式的视频统一编码成了用transformer架构能够训练的embeding，然后引入类似diffusion
明矛顿了·2024-02-20 08:49

TRS 2024 论文阅读 | 基于点云处理和点Transformer网络的人体活动连续识别

基于点云处理和点Transformer网络的人体活动连
R.X. NLOS·2024-02-20 07:21

计算机视觉的应用23-OpenAI发布的文本生成视频大模型Sora的原理解密

本文概况性地将Sora模型生成视频主要分为三个步骤：视频压缩网络、空间时间潜在补丁提取以及视频生成的Transformer模型。
微学AI·2024-02-20 06:22

探索海洋世界，基于DETR(DEtection TRansformer)模型开发构建海洋场景下海洋生物检测识别分析系统

首先看下实例效果：DETR(DEtectionTRansformer)是一种基于Transformer架构的端到端目标检测模型。
Together_CZ·2024-02-20 06:20

『论文阅读|利用深度学习在热图像中实现无人机目标检测』

利用深度学习在热图像中实现无人机目标检测摘要1引言1.1小物体检测1.2物体检测中的模型组合1.3热图像处理2提出的模型2.1预测头数量2.2骨干网络优化2.3Transformerencoder模块2.4
Dymc·2024-02-20 06:42

【深入理解Attention】Transformer的理解和代码实现

1Self-attention自注意力机制1.1QKV的理解attention和推荐算法有类似之处我们在电商购物平台上输入查询query，然后平台返回商品列表系统会根据query去查找所有相似度高的商品，商品自带的标签就是key，query与key相乘就得到相似度然后根据客户的评价给所有商品打分，得到value，评价高的value就高。用户喜不喜欢、评价高不高、销量高不高就是value最后，把相似
量子-Alex·2024-02-20 05:18

transformer-Attention is All You Need（一）

1.为什么需要transformer循环模型通常沿输入和输出序列的符号位置进行因子计算。通过在计算期间将位置与步骤对齐，它们根据前一步的隐藏状态和输入产生位置的隐藏状态序列。
liaolaa·2024-02-20 04:18

[模型学习]Transformer机制及其过程

Transformer的基本结构Transformer模型结构与seq2seq模型类似，Transformer是一种编码器-解码器结构的模型Transformer的过程——编码器(Encoder)Encoder
Amigo_5610·2024-02-20 04:46

transformer-Attention is All You Need（二）

transformer中的解码器解码器层每个解码器层根据给定的输入向目标方向进行特征提取，即完成解码过程transformer的解码器也是一个自回归模型，根据编码器的结果以及上一次预测的结果，对下一次可能出现的值进行特征表示
liaolaa·2024-02-20 04:45

Sora 和之前 Runway 在架构上的区别

答：简单来说Runway是基于扩散模型（DiffusionModel）的，而Sora是基于DiffusionTransformer。
richerg85·2024-02-20 03:00

【AIGC】大语言模型

这些模型基于Transformer架构，其中包含多头注意力层，堆叠在一个非常深的神经网络中。常见的LLM包括GPT-3、PaLM、Gala
AIGCExplore·2024-02-20 02:57

OpenAI全新发布文生视频模型：Sora！

我们利用对视频和图像潜在代码的时空Patches进行操作的Transformer架构。我
凌青羽·2024-02-20 01:39

Sora技术报告——Video generation models as world simulators

文章目录1.视频生成模型，可以视为一个世界模拟器2.技术内容2.1将可视数据转换成patches2.2视频压缩网络2.3SpacetimeLatentPatches2.4Scalingtransformers
我想静静，·2024-02-20 01:24

openAI的sora的技术原理是什么

OpenAI的Sora模型是一个视频生成模型，与GPT模型类似，Sora使用了Transformer架构，有很强的扩展性。
kfjh·2024-02-20 01:23

【论文精读】ESViT

摘要基于transformer的SSL方法在ImageNet线性检测任务上取得了最先进的性能，其关键原因在于使用了基于对比学习方法训练单尺度Transformer架构。
None-D·2024-02-19 22:40

【论文精读】DALL·E

摘要本文利用从互联网上收集的2.5亿个图像/文本对数据，训练了一个120亿参数的自回归transformer，进而得到一个可以通过自然语言/图像控制生成的高保真图像生成模型。
None-D·2024-02-19 22:40
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他