transformer论文阅读

动态头部:统一目标检测头部与注意力

论文地址:https://arxiv.org/pdf/2106.08322.pdfai阅读论文_论文速读_论文阅读软件-网易有道速读创新点是什么?
andeyeluguo·2024-02-19 10:23

OpenAI视频生成模型Sora的全面解析：从扩散Transformer到ViViT、DiT、NaViT、VideoPoet

前言真没想到，距离视频生成上一轮的集中爆发(详见《视频生成发展史：从Gen2、EmuVideo到PixelDance、SVD、Pika1.0、W.A.L.T》)才过去三个月，没想OpenAI一出手，该领域又直接变天了自打2.16日OpenAI发布sora以来，不但把同时段Google发布的GemmiPro1.5干没了声音，而且网上各个渠道，大量新闻媒体、自媒体(含公号、微博、博客、视频)做了大量的
v_JULY_v·2024-02-19 10:27

论文阅读-面向机器学习的云工作负载预测模型的性能分析

论文名称：PerformanceAnalysisofMachineLearningCenteredWorkloadPredictionModelsforCloud摘要由于异构服务类型和动态工作负载的高变异性和维度，资源使用的精确估计是一个复杂而具有挑战性的问题。在过去几年中，资源使用和流量的预测已受到研究界的广泛关注。许多基于机器学习的工作负载预测模型通过利用其计算能力和学习能力得以发展。本文提出
向来痴_·2024-02-15 10:20

NLP_GPT到ChatGPT

GPT：2018年，OpenAl发布了这款基于Transformer架构的预训练语言模型，其参数数量为1.17亿(117M)。
you_are_my_sunshine*·2024-02-15 09:39

LLM大模型相关问题汇总---包括问题与答案

-Transformer体系：由Google提出的Transformer模型及其变体，如BERT、GPT等。
lichunericli·2024-02-15 09:56

DCNNs之DNA论文阅读笔记

Article:DeepConvolutionalNeuralNetworkArchitectureWithReconfigurableComputationPatternsJournalTitle:IEEETransactionsonVeryLargeScaleIntegration(VLSI)SystemsIssue:No.08-Aug.(2017vol.25)ISSN:1063-8210pp
苏十一0421·2024-02-15 08:46

Transformers中的Beam Search高效实现

来自：纸鱼AI目前Github上的大部分实现均针对于单个样本的beamsearch，而本文主要介绍了针对单个样本和批量样本的beamsearch实现。本文代码可以点击“查看原文”找到BeamSearch的原理设输入序列为，输出序列为，我们需要建模如下概率分布：（公式向右滑动）在执行解码时，我们有几种选词方案，第一种则是穷举所有可能序列，这种成本过大无法承受。如果每一步都选择概率最大的词，这种解码方
zenRRan·2024-02-15 08:13

Attention +Transformer学习记录（二）

目录a.注意力机制和自注意力机制的区别b.引入自注意力机制的原因c.计算公式d.代码实现二、Multi-HeadAttention1.Multi-HeadAttention的计算2.位置编码三、Transformer
LLC74·2024-02-15 08:41

[机器学习]详解transformer---小白篇

1.背景：Transformer是2017年的一篇论文《AttentionisAllYouNeed》提出的一种模型架构，这篇论文里只针对机器翻译这一种场景做了实验，并且由于encoder端是并行计算的，
是安澜啊·2024-02-15 08:11

如何使用Hugging Face：对Transformer和pipelines的介绍

一、transformer介绍众所周知，transformer模型（如GPT-3、LLaMa和ChatGPT）已经彻底改变了人工智能领域。
第欧根尼的酒桶·2024-02-15 08:10

基于Transformer的机器学习模型的主动学习

主动学习和基于Transformer的机器学习模型的结合为有效地训练深度学习模型提供了强有力的工具。通过利用主动学习，数据科学家能够减少训练模型所需的标记数据的数量，同时仍然达到高精度。
第欧根尼的酒桶·2024-02-15 08:09

FaE：基于符号知识的适应性和可解释的神经记忆

AdaptableandInterpretableNeuralMemoryoverSymbolicKnowledge论文作者：GoogleResearch论文地址：https://arxiv.org/abs/2007.00849收录会议：NAACL202101介绍大规模语言模型，如BERT、Transformer
NLP论文解读·2024-02-15 08:36

Task6 基于深度学习的文本分类3

基于深度学习的文本分类学习目标了解Transformer的原理和基于预训练语言模型（Bert）的词表示学会Bert的使用，具体包括pretrain和finetune文本表示方法Part4Transformer
listentorain_W·2024-02-15 07:53

四、OpenAI之文本生成模型

文本生成模型OpenAI的文本生成模型(也叫做生成预训练的转换器(Generativepre-trainedtransformers)或大语言模型)已经被训练成可以理解自然语言、代码和图片的模型。
挑大梁·2024-02-14 15:08

自然语言处理N天-AllenNLP学习（实现简单的词性标注）

新建MicrosoftPowerPoint演示文稿(2).jpg1.前言在了解了Transformer之后，这个模型是否可用呢？
我的昵称违规了·2024-02-14 12:54

使用模型Helsinki-NLP/opus-mt-en-zh实现英译中

googlecodlab运行需要5秒fromtransformersimportAutoModel,AutoTokenizer,MarianMTModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-14 11:18

在pipeline中使用distilbert-base-uncased-finetuned-sst-2-english模型做sentiment-analysis情感分析

googlecolab运行成功：fromtransformersimportAutoTokenizer,AutoModel,pipelinefromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-14 11:48

huggingface pipeline零训练样本分类Zero-Shot Classification的实现

fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportMBartForConditionalGeneration
hehui0921·2024-02-14 11:47

使用LORA微调RoBERTa

RoBERTa（RobustlyoptimizedBERTapproach）是由FacebookAI提出的一种基于Transformer架构的预训练语言模型。
deephub·2024-02-14 08:15

论文阅读-Pegasus：通过网络内一致性目录容忍分布式存储中的偏斜工作负载

论文名称：Pegasus:ToleratingSkewedWorkloadsinDistributedStoragewithIn-NetworkCoherenceDirectories摘要高性能分布式存储系统面临着由于偏斜和动态工作负载引起的负载不平衡的挑战。本文介绍了Pegasus，这是一个利用新一代可编程交换机ASIC来平衡存储服务器负载的新型存储系统。Pegasus使用数据存储中最受欢迎的对
向来痴_·2024-02-14 06:10

论文阅读，HeteroGen: Automatic Synthesis of Heterogeneous Cache Coherence Protocols（二）

目录一、Article:文献出处（方便再次搜索）（1）作者（2）文献题目（3）文献时间（4）引用二、Data:文献数据（总结归纳，方便理解）（1）背景介绍（2）目的（3）贡献（4）主要实现手段4.1前置知识AMBACHI简介PCIE和CXL缓存一致性协议（CacheCoherencyProtocols）内存一致性模型（MemoryConsistencyModels）4.2复合内存一致性模型comp
好啊啊啊啊·2024-02-14 06:10

论文阅读，ProtoGen: Automatically Generating Directory Cache Coherence Protocols（三）

目录一、Article:文献出处（方便再次搜索）（1）作者（2）文献题目（3）文献时间（4）引用二、Data:文献数据（总结归纳，方便理解）（1）背景介绍（2）目的（3）结论（4）主要实现手段4.1系统模型和定义4.2ProtoGen概述4.3ProtoGen的输入，输出和限制4.4ProtoGen示例（5）实验结果A.StallingProtocolsB.Non-StallingProtocol
好啊啊啊啊·2024-02-14 06:08

论文阅读：GamutMLP A Lightweight MLP for Color Loss Recovery

这篇文章是关于色彩恢复的一项工作，发表在CVPR2023，其中之一的作者是MichaelS.Brown，这个老师是加拿大York大学的，也是ISP领域的大牛，现在好像也在三星研究院担任兼职，这个老师做了很多这种类似的工作，通过一些轻量模型，将一些数据转换过程中的变换关系进行拟合，然后再进行恢复，比如RAW域到sRGB域的转换，这篇文章是wideRGB到sRGB的转换一般相机的ISP或者一些图像编辑
Matrix_11·2024-02-14 05:57

ResT An Efficient Transformer for Visual

©作者|小欣Abstract.这篇文章提出了一个有效的多尺度视觉Transformer，称为ResT,可以作为图像分类的主干网络，大多Transformer模型使用标准的Transformerblock
CV案例精选·2024-02-14 02:30

【大模型上下文长度扩展】线性偏差注意力 ALiBi

线性偏差注意力ALiBi核心问题：如何使Transformer模型在推理时有效处理长于训练时序列的输入，同时提高训练效率并减少资源需求？具体问题：当前位置编码方法不支持高效的序列长度外推。
Debroon·2024-02-14 01:50

大模型位置编码、长度外推问题、ALiBi知识

在Transformer模型中，位置编码通过为输入序列中的每个位置分配一个固定的向量来实现。这些向量会与输入序列中的词向量相加，以融合位置信息。位置编码的设计目的是使模型
lichunericli·2024-02-13 21:09

LLM大模型常见问题解答（2）

对大模型基本原理和架构的理解大型语言模型如GPT（GenerativePre-trainedTransformer）系列是基于自注意力机制的深度学习模型，主要用于处理和生成人类语言。
lichunericli·2024-02-13 21:38

大模型激活函数知识

FFN块计算公式在Transformer模型中，FFN（Feed-ForwardNetwork）块通常指的是在编码器（Encoder）和解码器（Decoder）中的一个全连接前馈网络子结构。
lichunericli·2024-02-13 19:56

知识图谱与语言预训练_biji

COMET:CommonsenseTransformersforAutomaticKnowledgeGraphConstruction
wang2008start·2024-02-13 14:04

大模型基础知识

主流的开源模型体系GPT（GenerativePre-trainedTransformer）系列：由OpenAI发布的一系列基于Transformer架构的语言模型，包括GPT、GPT-2、GPT-3等
lichunericli·2024-02-13 13:46

使用LORA微调RoBERTa

RoBERTa（RobustlyoptimizedBERTapproach）是由FacebookAI提出的一种基于Transformer架构的预训练语言模型。
·2024-02-13 12:15

Transformer实战-系列教程17：DETR 源码解读4（Joiner类/PositionEmbeddingSine类/位置编码/backbone）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:03

Transformer实战-系列教程16：DETR 源码解读3（DETR类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:32

Transformer实战-系列教程15：DETR 源码解读2（ConvertCocoPolysToMask类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:02

【论文阅读笔记】UNSUPERVISED REPRESENTATION LEARNING FOR TIME SERIES WITH TEMPORAL NEIGHBORHOOD CODING

UNSUPERVISEDREPRESENTATIONLEARNINGFORTIMESERIESWITHTEMPORALNEIGHBORHOODCODINGABSTRACT 本文提出了一种自监督框架，名为“时间邻域编码”（TemporalNeighborhoodCoding，TNC），用于学习非平稳时间序列的可泛化表示。该方法利用信号生成过程的局部平滑性来定义具有平稳性质的时间邻域。通过使用去偏差对
少写代码少看论文多多睡觉·2024-02-13 11:39

使用huggingface pipeline实现抽取式问答question-answering

fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportpipelineqa_model
hehui0921·2024-02-13 09:36

huggingface pipeline使用模型THUDM/chatglm3-6b

fromtransformersimportAutoTokenizer,AutoModelfromtransformersimportAutoModelForSeq2SeqLMfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-13 09:36

flan_t5的使用

https://huggingface.co/docs/transformers/model_doc/flan-t5
hehui0921·2024-02-13 09:36

使用模型bigscience/mt0-large实现中文到英文的翻译

cpu版本fromtransformersimportAutoTokenizer,AutoModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-13 09:36

使用huggingface pipeline实现文本翻译

fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportMBartForConditionalGeneration
hehui0921·2024-02-13 09:04

gpt4国内怎么用 gpt4和chatGPT的区别是什么

GPT是一种人工智能技术，全称为"GenerativePre-trainedTransformer"，即生成式预训练转换器。
氧惠佣金真的高·2024-02-13 07:24

论文阅读：《Deep Learning-Based Human Pose Estimation: A Survey》——Part 1：2D HPE

目录人体姿态识别概述论文框架HPE分类人体建模模型二维单人姿态估计回归方法目前发展优化基于热图的方法基于CNN的几个网络利用身体结构信息提供构建HPE网络视频序列中的人体姿态估计2D多人姿态识别方法自上而下自下而上2DHPE总结数据集和评估指标2DHPE数据集2DHPE评价指标2DHPE方法性能的比较单人2DHPE多人2DHPE未来展望人体姿态识别概述应用模块：人机交互、运动分析、增强现实、虚拟现
自信且放光芒66·2024-02-13 05:33

王树森《RNN & Transformer》系列公开课

本课程主要介绍NLP相关，包括RNN、LSTM、Attention、Transformer、BERT等模型，以及情感识别、文本生成、机器翻译等应用ShusenWang的个人空间-ShusenWang个人主页
如何原谅奋力过但无声·2024-02-13 05:24

图像处理之《隐写网络的隐写术》论文阅读

一、文章摘要隐写术是一种在双方之间进行秘密通信的技术。随着深度神经网络(DNN)的快速发展，近年来越来越多的隐写网络被提出，并显示出良好的性能。与传统的手工隐写工具不同，隐写网络的规模相对较大。如何在公共信道上秘密传输隐写网络引起了人们的关注，这是隐写技术在实际应用中的关键阶段。为了解决这一问题，本文提出了一种新的隐写网络隐写方案。不像现有的隐写方案，其重点是微妙的修改封面数据，以适应秘密。我们建
Hard Coder·2024-02-13 02:08

Deep Learning Workload Scheduling in GPU Datacenters:Taxonomy, Challenges and Vision 论文阅读

【论文阅读笔记】DeepLearningWorkloadSchedulinginGPUDatacenters:Taxonomy,ChallengesandVision论文链接GPU数据中心的DL工作负载调度
牛码当驴·2024-02-13 02:31

论文阅读-One for All : 动态多租户边缘云平台的统一工作负载预测

论文名称：OneforAll:UnifiedWorkloadPredictionforDynamicMulti-tenantEdgeCloudPlatforms摘要多租户边缘云平台中的工作负载预测对于高效的应用部署和资源供给至关重要。然而，在多租户边缘云平台中，异构的应用模式、可变的基础设施性能以及频繁的部署给准确和高效的工作负载预测带来了重大挑战。基于聚类的动态多租户边缘云平台建模方法往往因需要
向来痴_·2024-02-13 02:31

React Native Android打包

下面列举一些主要参数：--entry-fileRN入口文件的路径,绝对路径或相对路径--platform[string]ios或andorid--transformer[string]Specifyacustomtransformertobeused
Lethe35·2024-02-13 01:44

这次理解透彻了！用代码从零实现大模型的自注意力、多头注意力。。。

这篇文章将介绍Transformer架构以及GPT-4和Llama等大型语言模型（LLM）中使用的自注意力机制。自注意力等相关机
Python算法实战·2024-02-12 23:47

[论文精读]Community-Aware Transformer for Autism Prediction in fMRI Connectome

论文网址：[2307.10181]Community-AwareTransformerforAutismPredictioninfMRIConnectome(arxiv.org)论文代码：GitHub-ubc-tea
夏莉莉iy·2024-02-12 21:31

Cross-lingual Transfer of Monolingual Representations

既有大量无标签数据又有下游任务的监督数据，L2只有大量无标签数据，整个流程可分为一下四步：在L1无标签的数据集上，训练一个单语的bert，任务为masked语言模型（MLM）和下一句话预测（NSP）冻结第1步训练好的bert中的transformer
ltochange·2024-02-12 20:03
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他