Transformer论文学习第42页

研一入门经验总结

方便复习）积累适合学习、集中精神的方法抱着强目的性去做事情遇到的问题案例与解决方法扩展阅读2.学习方法主动学习读论文的方法看代码的方法小技巧3.代码运行环境深度学习框架（python->pytorch->transformers

SofiaT·2023-10-31 16:57

BERT-as-service 时隔三年突然更新，这次连名儿都改了

BERT:Pre-trainingofDeepBidirectionalTransformersf

Jina AI·2023-10-31 14:14

Transformer在计算机视觉领域的研究综述

论文地址：https://kns.cnki.net/kcms/detail/11.2127.TP.20221009.1217.003.html目录摘要1.Transformer基本结构1.1位置编码(1

别致的SmallSix·2023-10-31 11:28

基于计算机视觉的 Transformer 研究进展

论文地址：https://kns.cnki.net/kcms/detail/11.2127.tp.20211129.1135.004.html18页，74篇参考文献目录摘要1Transformer基本原理

别致的SmallSix·2023-10-31 10:46

第17期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2023-10-31 10:32

第16期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2023-10-31 10:01

Are Transformers Effective for Time Series Forecasting论文全文翻译

Transformers对时间序列预测有效吗？摘要最近，针对长期时间序列预测（LTSF）任务的基于Transformer的解决方案激增。

happylife_mini·2023-10-31 06:30

【clip源码阅读】VisionTransformer

lib/python3.8/site-packages/clip/model.py#L206classVisionTransformer(nn.Module):def__init__(self,input_resolution

月亮不知道·2023-10-31 06:28

iTransformer: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING

#论文题目：ITRANSFORMER:INVERTEDTRANSFORMERSAREEFFECTIVEFORTIMESERIESFORECASTING#论文地址：https://arxiv.org/abs

堇禤·2023-10-31 06:22

Transformer做文本生成图像的调查研究笔记

1、目前Transformer运用在文本生成图像上有3种1）只在文本编码器上面运用，不改变GAN中生成图像的结构。如：使用BERT处理文本编码过程，输出向量传入GAN中。

中杯可乐多加冰·2023-10-31 04:37

[nlp] 基于 transformers 的 generate() decode推理时解码多样性策略(beam search multinomial sampling)

最近在做文本生成，用到huggingfacetransformers库的文本生成generate()函数，是GenerationMixin类的实现（classtransformers.generation_utils.GenerationMixin

心心喵·2023-10-31 03:10

PP-MobileSeg: 探索移动设备上又快又准的语义分割模型

arxiv.org/abs/2304.05152代码：https://github.com/open-mmlab/mmsegmentation/tree/main/projects/pp_mobileseg0、摘要transformer

叶舟·2023-10-31 01:38

AdaBins: Depth Estimation using Adaptive Bins

对于处理模块的构建，引入了transformer结构，并通过与cnn的结合，提出了Adabins模型，在单目深度估计上具有一定的优越性。

与光i·2023-10-31 01:36

Adabins:Transformer+单目深度估计

Adabins：DepthEstimationusingAdaptiveBins摘要1.Introduction2.RelatedWork3.Methodology3.1Motivation3.2AdabinsDesign3.3Architecturedescription3.4LossFunction4.实验5结论6思考论文：https://arxiv.org/abs/2011.14141代码：

新来的鲨鱼辣椒·2023-10-31 01:36

DepthFormer:利用远距离相关性和局部信息估计准确的单眼深度估计

MengYa_DreamZ·2023-10-31 01:05

transformer入坑指南

*免责声明:1\此方法仅提供参考2\搬了其他博主的操作方法,以贴上路径.3*场景一:Attentionisallyouneed场景二:VIT场景三:Swinv1场景四:Swinv2场景五:SETR场景六:TransUNet场景七:SegFormer场景八:PVT场景九:Segmeter…场景一:Attentionisallyouneed论文地址强推–》国外学者的解读强推–》国内学者对国外学者解读的

weeksooo·2023-10-30 22:16

linux操作命令随笔

1、scp拷贝文件假设远程服务器IP：39.02.150.51远程路径：/sentence-transformers/examples本地路径：/sentence-transformers/examples

colourmind·2023-10-30 22:42

IMYAI-人工智能聊天绘画机器人4.0 - 终身学习者的超级生产力工具！

ChatGPT全名ChatGenerativePre-trainedTransformer(聊天生成性预训练转换模型)说简单点，ChatGPT就是一个AI聊天机器人，背后是一个十分庞大的语言模型，由国外的

图欧学习资源库·2023-10-30 19:10

【错误解决方案】ModuleNotFoundError: No module named ‘transformers‘

1.错误提示在python程序中，尝试导入一个名为'transformers'的模块，但Python提示找不到这个模块。

DRobot·2023-10-30 18:27

【SIGIR 2022】面向长代码序列的Transformer模型优化方法，提升长代码场景性能

作者：汪诚愚、刘婷婷阿里云机器学习平台PAI与华东师范大学高明教授团队合作在SIGIR2022上发表了结构感知的稀疏注意力Transformer模型SASA，这是面向长代码序列的Transformer模型优化方法

阿里云大数据AI技术·2023-10-30 18:12

NeurIPS 2023 | 首个人体动作捕捉大模型面世！SMPLer-X：横扫七大榜单！

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉和Transformer】交流群在CVer微信公众号后台回复：动作捕捉，可以下载本论文pdf、代码和数据集，学起来

Amusi（CVer）·2023-10-30 17:46

DeepMind新作：CNN可媲美视觉Transformer

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉和Transformer】交流群在CVer微信公众号后台回复：最强CNN，可以下载本论文pdf，学起来！

Amusi（CVer）·2023-10-30 17:46

裁员14000人！

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉和Transformer】交流群作为全球最大通信设备制造商之一的芬兰诺基亚公司19日表示，公司将裁员最多1.4

Amusi（CVer）·2023-10-30 17:46

你一般什么时候会用到GPT?

GPT（GenerativePre-trainedTransformer）是一种自然语言处理技术，它在各种领域和场景中都有广泛的应用。

jianqiang.xue·2023-10-30 11:06

ESM蛋白质语言模型系列

Biologicalstructureandfunctionemergefromscalingunsupervisedlearningto250millionproteinsequences》ESM-1b第二篇《MSATransformer

B1CK·2023-10-30 10:43

【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer

BQW_·2023-10-30 06:15

第14期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2023-10-30 06:55

论文学习：推荐系统中协同过滤算法研究

一.概要本文内容主要分为五章，第一章主要介绍了推荐系统中一些比较重要和关键的背景知识；第二章讨论了推荐系统的基本概念、基础理论，对主要算法进行了介绍分析，给出了对推荐系统进行评价的主要指标和使用的数据集；第三章介绍了一种基于评分差值相似度的协同过滤算法，详细阐述了用户评分差值相似度的原理以及计算方法，提高了算法的推荐精度；第四章详细分析稀疏性问题产生的原因、影响以及现有的解决方案，提出了一种矩阵填

python小白22·2023-10-30 05:50

循环神经网络

为了学习编码器-译码器架构，可能需要涉及transformer，循环神经网络，序列到序列的知识，这里将循环神经网络作为起点进行学习，参考学习的是吴恩达深度学习课程。本文主要涉及单隐层循环

Alex·Fall·2023-10-30 05:02

图像分类任务ViT与CNN谁更胜一筹？DeepMind用实验证明

论文标题：ConvNetsMatchVisionTransformersatScale机构：GoogleDeepMind论文地址：https://arxiv.o

CV51·2023-10-30 04:23

Vision Transformer

1、前言Transformer最初提出是针对NLP领域的，并且在NLP领域大获成功。这篇论文也是受到其启发，尝试将Transformer应用到CV领域。

爱吃肉c·2023-10-29 22:49

CV计算机视觉每日开源代码Paper with code速览-2023.10.27

【基础网络架构：Transformer】（NeurIPS2023）MCUFormer:DeployingVisionTranformersonMicrocontrollerswithLimitedMemory

CV51·2023-10-29 22:14

关于深度学习中Attention的一些简单理解

Attention机制Attention应用在了很多最流行的模型中，Transformer、BERT、GPT等等。

Jackie_Yongzhi Huang·2023-10-29 19:12

深度学习中Transformer的简单理解

Transformer网络结构Transformer也是由编码器和解码器组成的。每一层Encoder编码器都由很多层构成的，编码器内又是self-attention和前馈网络构成的。

Jackie_Yongzhi Huang·2023-10-29 19:11

Transformer 学习笔记（ing）

目录1.三大特征提取器RNN、CNN、Transformer1.1RNN1.2CNN1.3Transformer1.4三者比较2.Transformer模型思想2.模型概述3.Transformer优缺点

xxxibolva·2023-10-29 18:23

Attention Is All You Need阅读笔记

NIPS2017AshishVaswani,NoamShazeer,NikiParmar,JakobUszkoreit,LlionJones,AidanN.Gomez,LukaszKaiser,IlliaPolosukhin一、简介提出了Transformer

Ma lidong·2023-10-29 18:22

Attention is all you need阅读笔记

Attentionisallyouneed阅读笔记(一)Title(二)Summary(三)ResearchObject(四)ProblemStatement(五)Method5.1Transformer

不知道叫啥好一点·2023-10-29 18:46

读论文——BERT

第一遍标题BERT：Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding作者JacobDevlinMing-WeiChangKentonLeeKristinaToutanova

前行follow·2023-10-29 18:08

论文阅读——RoBERTa A Robustly Optimized BERT Pretraining Approach

RoBERTaARobustlyOptimizedBERTPretrainingApproachAbstractDevlin等人在BERTPre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding

Trigger_2017·2023-10-29 18:03

经典论文阅读（4）——BERT

MLM的目标是将表征融合上下文，以预训练一个深度双向Transformer。除了MLM，还用了一个“下一句预测”任务联合预训练文本对表示。

fmf1287·2023-10-29 17:29

论文阅读——BERT

1810.04805github：GitHub-google-research/bert:TensorFlowcodeandpre-trainedmodelsforBERT一、模型及特点：1、模型：深层双向transformerencoder

じんじん·2023-10-29 17:26

ChatGPT 介绍

图灵测试chatgpt的发展历史聊天机器人ElizaEliza后辈Alice机器学习smaterChild人工神经网络TransformerOpenAI(GenerativePre-trainedTransformer

前端贾公子·2023-10-29 17:02

[论文阅读]Ghost-free High Dynamic Range Imaging with Context-aware Transformer

多帧高动态范围成像（HighDynamicRangeImaging,HDRI/HDR）旨在通过合并多幅不同曝光程度下的低动态范围图像，生成具有更宽动态范围和更逼真细节的图像。如果这些低动态范围图像完全对齐，则可以很好地融合为HDR图像，但是，实际拍摄到的图像容易受到相机、物体运动的干扰，三张低动态范围图像往往不能很好地得到对齐，直接对三图像做融合的话，所生成的图像容易产生伪影、重影，例如下图所示：

跪求指点·2023-10-29 15:16

LangChain+LLM实战---BERT主要的创新之处和注意力机制中的QKV

BERT主要的创新之处BERT（BidirectionalEncoderRepresentationsfromTransformers）是一种基于Transformer架构的预训练语言模型，由Google

lichunericli·2023-10-29 15:03

基于tornado BELLE 搭建本地的web 服务

tornado框架importtimeimporttorchimporttorch.nnasnnfromgptqimport*frommodelutilsimport*fromquantimport*fromtransformersimportAutoTokenizerimportsysimportjson

luoganttcc·2023-10-29 15:19

Transformers实战（二）快速入门文本相似度、检索式对话机器人

Transformers实战（二）快速入门文本相似度、检索式对话机器人1、文本相似度1.1文本相似度简介文本匹配是一个较为宽泛的概念，基本上只要涉及到两段文本之间关系的，都可以被看作是一种文本匹配的任务

undo_try·2023-10-29 12:50

ChatGLM系列八：微调医疗问答系统

二、P-tuningv2P-tuningv2微调技术利用deepprompttuning，即对预训练Transformer的每一层输入应用continuouspromp

永胜永胜·2023-10-29 11:10

[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现

[源码解析]模型并行分布式训练Megatron(3)—模型并行实现文章目录[源码解析]模型并行分布式训练Megatron(3)---模型并行实现0x00摘要0x01并行Transformer层1.1初始化

罗西的思考·2023-10-29 08:45

详解MegatronLM Tensor模型并行训练(Tensor Parallel)

TrainingMulti-BillionParameterLanguageModelsUsingModelParallelism】是2020年出的，针对billion级别的模型进行训练，例如具有38亿参数的类GPT-2的transformer

MLTalks·2023-10-29 08:12

Megatron-LM源码系列(二)：Tensor模型并行和Sequence模型并行训练

NVIDIA/Megatron-LM/tree/23.051.整体介绍模型并行训练实现的核心代码在megatron/core/目录下，按README.md介绍来说，MegatronCore是一个专门针对transformer

MLTalks·2023-10-29 08:41

推荐频道

Transformer论文学习

研一入门经验总结

BERT-as-service 时隔三年突然更新，这次连名儿都改了

Transformer在计算机视觉领域的研究综述

基于计算机视觉的 Transformer 研究进展

第17期 | GPTSecurity周报

第16期 | GPTSecurity周报

Are Transformers Effective for Time Series Forecasting论文全文翻译

【clip源码阅读】VisionTransformer

iTransformer: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING

Transformer做文本生成图像的调查研究笔记

[nlp] 基于 transformers 的 generate() decode推理时解码多样性策略(beam search multinomial sampling)

PP-MobileSeg: 探索移动设备上又快又准的语义分割模型

AdaBins: Depth Estimation using Adaptive Bins

Adabins:Transformer+单目深度估计

DepthFormer:利用远距离相关性和局部信息估计准确的单眼深度估计

transformer入坑指南

linux操作命令随笔

IMYAI-人工智能聊天绘画机器人4.0 - 终身学习者的超级生产力工具！

【错误解决方案】ModuleNotFoundError: No module named ‘transformers‘

【SIGIR 2022】面向长代码序列的Transformer模型优化方法，提升长代码场景性能

NeurIPS 2023 | 首个人体动作捕捉大模型面世！SMPLer-X：横扫七大榜单！

DeepMind新作：CNN可媲美视觉Transformer

裁员14000人！

你一般什么时候会用到GPT?

ESM蛋白质语言模型系列

【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer

第14期 | GPTSecurity周报

论文学习：推荐系统中协同过滤算法研究

循环神经网络

图像分类任务ViT与CNN谁更胜一筹？DeepMind用实验证明

Vision Transformer

CV计算机视觉每日开源代码Paper with code速览-2023.10.27

关于深度学习中Attention的一些简单理解

深度学习中Transformer的简单理解

Transformer 学习笔记（ing）

Attention Is All You Need阅读笔记

Attention is all you need阅读笔记

读论文——BERT

论文阅读——RoBERTa A Robustly Optimized BERT Pretraining Approach

经典论文阅读（4）——BERT

论文阅读——BERT

ChatGPT 介绍

[论文阅读]Ghost-free High Dynamic Range Imaging with Context-aware Transformer

LangChain+LLM实战---BERT主要的创新之处和注意力机制中的QKV

基于tornado BELLE 搭建本地的web 服务

Transformers实战（二）快速入门文本相似度、检索式对话机器人

ChatGLM系列八：微调医疗问答系统

[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现

详解MegatronLM Tensor模型并行训练(Tensor Parallel)

Megatron-LM源码系列(二)：Tensor模型并行和Sequence模型并行训练