TRANSFORMER

第33期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-12-28 04:19

Huggingface 超详细介绍

软件研发及数据处理经验，关注机器学习，机器人技术，自动驾驶，医疗信息学等方面Huggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers
baidu_huihui·2023-12-28 01:45

【ChatGPT】各大互联网企业开发的类ChatGPT大模型

各大互联网企业开发的类ChatGPT大模型国际互联网公司国内互联网公司ChatGPT是由开放人工智能公司OpenAI开发的一款基于人工智能技术的聊天机器人，采用了大规模Transformer网络，可以实现对话的生成和理解
ZedKingCarry·2023-12-28 00:14

transformer模型结构|李宏毅机器学习21年

p=4&vd_source=f66cebc7ed6819c67fca9b4fa3785d39文章目录概述seq2seqtransformerEncoderDecoderAutoregressive（AT
小居快跑·2023-12-27 23:01

【论文笔记】BiFormer: Vision Transformer with Bi-Level Routing Attention

论文地址：BiFormer:VisionTransformerwithBi-LevelRoutingAttention代码地址：https://github.com/rayleizhu/BiFormervisiontransformer
justld·2023-12-27 22:54

图像融合论文阅读:SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images

@article{wang2022swinfuse,title={SwinFuse:Aresidualswintransformerfusionnetworkforinfraredandvisibleimages
qiang42·2023-12-27 22:52

工具系列：TimeGPT_(1)获取token方式和初步使用

TimeGPT利用Transformer架构和基于Google和多伦多大学2017年
愤斗的橘子·2023-12-27 19:36

DETR++: Taming Your Multi-Scale Detection Transformer论文解读

文章目录前言一、摘要二、引言三、相关研究四、模型方法1、RemovingtheEncoder方法2、Multi-Head方法3、ShiftedWindows方法4、Bi-directionalFeaturePyramid方法5、DETR++方法五、实验结果总结前言今天查看了一篇DETR++论文，本想网络上找博客大概浏览一下，不料网上对DETR++资料较少。无奈，我只有自己查看原文，了解其方法。为此
tangjunjun-owen·2023-12-27 18:22

2.pytorch iris data

文章目录1、数据集介绍2、run2.1Transformer不采用datasetdataloader形式采用datasetdataloader形式2.2sklearn自带模型LR，SVM，DT1、数据集介绍该数据集包含了
nsq_ai·2023-12-27 17:06

swin transformer 转 onnx

swintransformer代码：非官方实现，但是好理解。
wujpbb7·2023-12-27 15:13

模型微调入门介绍一

模型微调大致会有下面5大步骤，其中数据下载主要用transformers库中的datasets来完成，数据预处理部分会用到tokenizer对象。本篇博客会重点介绍数据加载和数据预处理
taoli-qiao·2023-12-27 14:39

虚拟环境和Pycharm中均有transforms仍报ModuleNotFoundError：No module named ‘transformers‘

问题：运行新模型，配置了新环境，下载了包后，仍然报ModuleNotFoundError：Nomodulenamed'transformers'错误。查看Pycharm解释器：没问题！！！？
桦拾·2023-12-27 14:28

【大语言模型基础】60行Numpy教你实现GPT-原理与代码详解

一、GPT简介GPT(GenerativePre-trainedTransformer)基于Transformer解码器自回归地预测下一个Token，从而进行了语言模型的建模。
液态不合群·2023-12-27 14:55

【论文解读】System 2 Attention提高大语言模型客观性和事实性

基于transformer的大语言模型（LLM）中的软注意很容易将上下文中的不相关信息合并到其潜在的表征中，这将对下一token的生成产生不利影响。
合合技术团队·2023-12-27 09:30

【论文解读】在上下文中学习创建任务向量

在这里，论文通过展示ICL学习到的函数通常有一个非常简单的结构：它们对应于transformerLLM，它的唯一输入是查询x和从训练集计算出的单个“任
合合技术团队·2023-12-27 09:59

Enhancing the Locality and Breaking the MemoryBottleneck of Transformer on Time Series Forecasting

在本文中，我们建议使用Transformer[1]来解决此类预测问题。尽管我们的初步研究对其性能印象深刻，但我们发现
流浪的诗人，·2023-12-27 09:58

Frequency-domain MLPs are More EffectiveLearners in Time Series Forecasting

虽然现有文献设计了许多基于RNN、GNN或Transformer的复杂架构（注意力机制的计算太占用资源，速度慢），但提出了另一种基于多层感知器（MLP）的方法，其结构简单、复杂度低且
流浪的诗人，·2023-12-27 09:28

FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting

本论文SubmissionandFormattingInstructionsforICML2022摘要虽然基于Transformer的方法已经显著提高了长期序列预测的先进结果，但它们的计算代价是高昂的，
流浪的诗人，·2023-12-27 09:27

CROSSFORMER: TRANSFORMER UTILIZING CROSSDIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FORECASTIN

本论文PublishedasaconferencepaperatICLR2023和Transformer做时间序列相关的论文。这篇文章提出了CrossFrormer，用来解决多元时间序列问题。
流浪的诗人，·2023-12-27 09:57

【论文翻译】Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting纯翻译

【论文翻译】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting文章目录【论文翻译】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecastingAbstract1
程序媛小哨·2023-12-27 09:55

【时间序列预测】Are Transformers Effective for Time Series Forecasting?

香港中文大学曾爱玲文章，在长时间序列预测问题上使用线性模型打败基于Transformer的模型，并对已有模型的能力进行实验分析（灵魂7问，强烈推荐好好读一下！）。
hellozhxy·2023-12-27 09:25

ETSformer: Exponential Smoothing Transformers for Time-series Forecasting

ThispaperwaspublishedatICMLin2022.近年来，有很多研究工作将Transformer应用在时间序列预测领域，取得了不错的效果，然而很多工作在模型设计上没有充分利用时间序列数据的特性
流浪的诗人，·2023-12-27 09:24

目标检测之序章-类别、必读论文和算法对比（实时更新）

文章目录前言一、目标检测算法分类1.传统的目标检测算法2.候选区域/窗+深度学习分类（TwoStage）3.基于深度学习的回归方法（OneStage）4.基于Transformer的方法二、必读文献三、
学海一叶·2023-12-27 06:32

YOLOv8改进 | 2023注意力篇 | MSDA多尺度空洞注意力（附多位置添加教程）

一、本文介绍本文给大家带来的改进机制是MSDA（多尺度空洞注意力）发表于今年的中科院一区(算是国内计算机领域的最高期刊了)，其全称是"DilateFormer:Multi-ScaleDilatedTransformerforVisualRecognition
Snu77·2023-12-26 12:25

DL-Paper精读：CPVT-可变position encoding

DoWeReallyNeedExplicitPositionEncodingsforVisionTransformers?
星月野1·2023-12-26 09:19

pytorch 实现 Restormer 主要模块（多头通道自注意力机制和门控制结构）

前面的博文读论文：Restormer:EfficientTransformerforHigh-ResolutionImageRestoration介绍了Restormer网络结构的网络技术特点，本文用pytorch
木水_·2023-12-26 07:24

Python电能质量扰动信号分类(三)基于Transformer的一维信号分类模型

目录引言1数据集制作与加载1.1导入数据1.2制作数据集2Transformer分类模型和超参数选取2.1定义Transformer分类模型2.2定义模型参数3Transformer模型训练与评估3.1
建模先锋·2023-12-26 07:48

[论文翻译]Attention Is All You Need

引言今天带来神作AttentionIsAllYouNeed的翻译，该作提出了Transformer模型。很牛逼的模型像PLATO-2和GPT-3都是基于Transformer。
愤怒的可乐·2023-12-26 06:07

大语言模型简介

Titan基于Transformer架构，其基础模型目
码上就科普菌·2023-12-25 20:50

Masked Autoencoders Are Scalable Vision Learners 2021-11-13

而且BEIT中也使用了AutoEncoder，但是和MAE的区别是，这里的AE是作为一个tokenizer使用，而下面的Transformer重现的也是token而不是原图。BEI
不想读Paper·2023-12-25 19:49

简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 (Pytorch 代码纯享版)

MaskedLanguageModeling)TokenizeMLM的工作原理为什么使用MLMNSP任务(NextSentencePrediction)NSP任务的工作原理NSP任务栗子NSP任务的调整和局限性安装和环境配置PyTorchTransformersBert
我是小白呀·2023-12-25 17:02

Cross-Drone Transformer Network for Robust Single Object Tracking论文阅读笔记

Cross-DroneTransformerNetworkforRobustSingleObjectTracking论文阅读笔记Abstract无人机在各种应用中得到了广泛使用，例如航拍和军事安全，这得益于它们与固定摄像机相比的高机动性和广阔视野
Mrwei_418·2023-12-25 09:16

Point-BERT：一种基于Transformer架构的点云深度网络

目录1.前言2.PointTokenization3.TransformerBackbone4.MaskedPointModeling5.ExperimentsReference1.前言从PointNet
程序猿老甘·2023-12-25 06:39

seamless-m4t-v2-large transformers 使用gpu推理

GPUversion:step1,model=model.to('cuda:0')ormodel=model.to('cuda')step2:audio_inputs=processor(audios=audio,return_tensors="pt").to('cuda:0')oraudio_inputs=processor(audios=audio,return_tensors="pt").t
pkuyjxu·2023-12-25 04:23

Transformer中的position encoding

参考Transformer中的positionencoding(位置编码一)_zuoyou-HPU的博客-CSDN博客正余弦编码公式解读：1.
qq_54867493·2023-12-25 04:18

今日无更新

现在梳理一下自己手里的锤子：转到Pytorch，使用AllenNLP了解Transformer、了解LSTM了解jieba等分词工具了解Gensim等NLP处理工具接下来要做的：基于Pytorch搞定LSTM
我的昵称违规了·2023-12-25 02:21

图像识别中的 Vision Transformers (ViT)

引言VisionTransformers(ViT)最近已成为卷积神经网络(CNN)的竞争替代品，而卷积神经网络(CNN)目前在不同的图像识别计算机视觉任务中处于最先进的水平。
Garry1248·2023-12-24 21:04

【Python机器学习系列】一文搞懂机器学习中的转换器和估计器（附案例）

一、引言表格数据一套完整的机器学习建模流程如下：在机器学习中，转换器（Transformer）和估计器（Estimator）是两个重要的概念，转换器和估计器在机器学习中扮演不同的角色，但它们通常可以结合在一起构建一个完整的机器学习流程
数据杂坛·2023-12-24 20:38

Transformer 模型设计的灵感

Transformer模型的设计确实是通过深刻理解序列处理和注意力机制的基础上，结合了并行计算的优势，取得了显著的性能提升。
科学禅道·2023-12-24 17:50

【大语言模型】Transformer原理以及运行机制

目录参考资料Transformer是一种序列到序列（Sequence-to-Sequence）的模型，用于处理自然语言处理任务。
后端研发Marion·2023-12-24 17:18

【域适应十三】2023-CVPR Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective

1.motivation最近，很多工作致力于利用视觉转换器(ViT)来完成具有挑战性的无监督域适应(UDA)任务。它们通常采用ViT中的CrossAttention进行直接的域对齐（CDTrans）。然而，由于CrossAttention的性能高度依赖于目标样本的伪标签质量，当域间隙较大时，域对齐的效果就会降低。为了解决这一问题，本文从博弈的角度，提出了一个被称为PMTrans的模型，用一个中间域
羊驼不驼a·2023-12-24 16:13

CV算法面试题学习

CV算法面试题学习1点在多边形内（pointinpolygon）2高斯滤波器3ViTPatchEmbeddingPositionEmbeddingTransformerEncoder完整的ViT模型4SE
电子系的小欣·2023-12-24 15:14

【BBuf的CUDA笔记】十，Linear Attention的cuda kernel实现解析

0x0.问题引入LinearAttention的论文如下：TransformersareRNNs:FastAutoregressiveTransformerswithLinearAttention：https
just_sort·2023-12-24 15:02

神经网络也能像人类利用外围视觉一样观察图像

本篇分享论文『PeripheralVisionTransformer』，POSTECH&MSRA&中科大提出PerViT，让神经网络也能关注图片中的重点信息！
FightingCV·2023-12-24 14:07

【CVPR2023】可持续检测的Transformer用于增量对象检测

在这个背景下，论文提出了一种创新性的方法，称为ContinuaLDEtectionTRansformer（CL-DETR），它基于Tran
陈子迩·2023-12-24 14:41

【llm使用】ChatGLM3-6B Transformers部署调用

文章目录环境准备模型下载代码准备部署说明：本文转自国内开源组织datawhale的repo：self-llm环境准备在autodl平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8接下来打开刚刚租用服务器的JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行demo。pip换源和安装依赖包#升级
自律版光追·2023-12-24 11:47

论文复现 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy

“Anomalytransformer:Timeseriesanomalydetectionwithassociationdiscrepancy.”arXivpreprintarXiv:2110.02642
一条独龙·2023-12-24 09:26

深度学习（七）：bert理解之输入形式

为了解决这些问题，一种新的预训练方法随即被提出，即BERT（BidirectionalEncoderRepresentationsfromTransformers）。
从零开始的奋豆·2023-12-24 09:55

【Stable Diffusion Inpainting】环境配置

name:ldmdependencies:-pip:--egit+https:或者pipinstall-egit+https://github.com/CompVis/taming-transformers.git
prinTao·2023-12-24 08:54

深度学习（八）：bert理解之transformer

1.主要结构transformer是一种深度学习模型，主要用于处理序列数据，如自然语言处理任务。它在2017年由Vaswani等人在论文“AttentionisAllYouNeed”中提出。
从零开始的奋豆·2023-12-24 06:53
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他