TRANSFORMER 第18页

【AI视野·今日Sound 声学论文速览第四十五期】Wed, 10 Jan 2024

10Jan2024Totally12papers上期速览✈更多精彩请移步主页DailySoundPapersMaskedAudioGenerationusingaSingleNon-AutoregressiveTransformerAuthorsAlonZiv

hitrjj·2024-01-12 03:04

2021-03-04 Speech-Transformer项目参数设置2

参数设置为了更方便调试LFR_m、LFR_n参数的设置，将训练、开发集的json做些精简：原始训练集：120098条语音精简后：9条语音原始开发集：14326条语音精简后：10条语音具体精简情况可以见《Speech-Transformer

雨风SLEK·2024-01-12 01:26

深度学习模型部署TensorRT加速（九）：TensorRT部署TransFormer模型

下篇内容预告：深度学习模型部署TensorRT加速（十）：TensorRT部署分析与优化方案（一）前言：众所周知，transformer在很多计算机视觉领域的性能已经超过CNNS，例如目标检测中的DETR

咕哥·2024-01-11 19:57

Pytorch环境下基于Transformer的滚动轴承故障诊断

关于python的集成环境，我一般Anaconda和winpython都用，windows下主要用Winpython，IDE为spyder（类MATLAB界面）。winpython脱胎于pythonxy，面向科学计算，兼顾数据分析与挖掘；Anaconda主要面向数据分析与挖掘方面，在大数据处理方面有自己特色的一些包；winpython强调便携性，被做成绿色软件，不写入注册表，安装其实就是解压到某个

哥廷根数学学派·2024-01-11 19:24

电能质量Python实现全家桶——全网最低价

Python电能质量扰动信号分类(一)基于LSTM模型的一维信号分类-CSDN博客Python电能质量扰动信号分类(二)基于CNN模型的一维信号分类-CSDN博客Python电能质量扰动信号分类(三)基于Transformer

建模先锋·2024-01-11 19:53

多特征变量序列预测(二)——CNN-LSTM-Attention风速预测模型

数据集介绍和预处理-CSDN博客风速预测（二）基于Pytorch的EMD-LSTM模型-CSDN博客风速预测（三）EMD-LSTM-Attention模型-CSDN博客风速预测（四）基于Pytorch的EMD-Transformer

建模先锋·2024-01-11 19:23

在Hugging Face上下载并使用Bert-base-Chinese

HuggingFaceHuggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来

little pierce·2024-01-11 14:59

Intro project based on BERT

BERT介绍语言模型BERT，其实就是Transformer中的encoder。是语言

Karen_Yu_·2024-01-11 14:26

从零开始复现BERT，并进行预训练和微调

从零开始复现BERT代码地址：https://gitee.com/guojialiang2023/bert模型BERT是一种基于Transformer架构的大型预训练模型，它通过学习大量文本数据来理解语言的深层次结构和含义

青云遮夜雨·2024-01-11 11:28

【NLP】多标签分类【上】

，上篇聚焦三种机器学习方法，分别是：BinaryRelevance(BR)、ClassifierChains(CC)、LabelPowerset(LP)，下篇聚焦利用序列生成解决多标签分类方法，将使用Transformer

Twilight Sparkle.·2024-01-11 11:28

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等。

代码讲故事·2024-01-11 11:55

03.用于LLMs不同的任务-transformer 架构

大多数现代LLMs都依赖于transformer架构，这是2017年论文AttentionIsAllYouNeed中介绍的深度神经网络架构。

这就是编程·2024-01-11 10:05

端到端自动驾驶

UniAD[CVPR2023]:使用transformer架构，统一自动驾驶流程，完成所有检测，跟踪，建图，轨迹预测，占据栅格预测与规划的端到端推理。

yang_daxia·2024-01-11 10:07

序列模型（3）—— LLM的参数量和计算量

本文说明以下重要结论设模型参数量为NNN，训练数据量（Token）为DDD，LLM训练中计算量（FLOPs）C≈6NDC\approx6NDC≈6ND参考：模型训练计算量到底怎么算分析transformer

云端FFF·2024-01-11 07:38

用Bert进行文本分类

BERT（BidirectionalEncoderRepresentationsfromTransformers）模型是一种基于Transformer架构的深度学习模型，主要用于自然语言处理任务。

天一生水water·2024-01-11 07:22

10、InstructGPT：Training language models to follow instructions with human feedback

它们都是采用了Transformer为核心结构，不同的是GPT-1通过自左向右生成式的构建预训练任务，然后得到一个通用的预训

C--G·2024-01-11 06:34

毕业论文idea

SwinTransformer的模型表现不如MobileViT使用高像素的数据集在云服务器上训练时，如果您发现SwinTransformer的模型表现不如MobileViT，这可能由几个因素导致：模型架构与数据匹配度

pythonSuperman·2024-01-11 02:10

老板向我请教Transformer的原理，我没讲清

这时，老板过来了，就聊，问，谈到Transformer结构，结果讲了半天愣是没讲清。赶紧抽点时间整理出来！敲一遍才理解深。个人简介：一个全栈工程师的升级之路！

发狂的小花·2024-01-10 23:17

@关于大模型的基础知识

@关于大模型的基础知识大模型的基础包括模型训练、数据集准备、微调和评估四大部分文章目录从大模型的训练说起大模型的基础调用大模型：例如调用llama2模型微调大模型从大模型的训练说起大模型的基础transformerself-attention

专心研究·2024-01-10 19:38

RNN 和 Transformer 复杂度比较

这里假设BatchSize为1，就是单样本的情况。原始RNN块：（1）单步计算H，包含两个矩阵向量乘法，和一个激活，复杂度HidSize²（2）一共有SeqLen步，所以整体复杂度SeqLen*HidSize²LSTM块：（1）单步计算FIC_hatO，包含八个矩阵向量乘法，和四个激活：HidSize²（2）单步计算C，包含两个逐元素乘法，和一个加法；HidSize²（3）单步计算H，包含一个逐元

绝不原创的飞龙·2024-01-10 18:06

MobileViT摘要

前言纯Transformer的问题：1、参数多，复杂度高2、缺少空间归纳偏置3、迁移到其他任务比较繁琐4、模型训练困难解决方法：将CNN与Transformer混合使用。

管不住心的大杜·2024-01-10 14:35

MobileViT

CNN与transformer的混合。轻量级、通用的、对移动端友好的visiontransformer模型。

pythonSuperman·2024-01-10 14:04

计算机视觉下的数据增强代码实现

数据增强的实现使用经典的pytorch框架下的torchvision.transformers对计算机视觉进行增强的代码实现。使用下面的图像进行数据增强，相应的效果图如下所示！

Algorithm_Engineer_·2024-01-10 13:18

transformer进行文本分析的模型代码

这段代码定义了一个使用Transformer架构的PyTorch神经网络模型。

LinlyZhai·2024-01-10 12:09

conda新建、配置python3.8虚拟环境，torch-cuda1.8，torchtext0.9.0，huggingface安装transformers库

起因是我在用bert的时候，导包报错Python环境缺少importlib.metadata模块。importlib.metadata是Python3.8引入的模块，而我的环境中使用的Python版本为3.7。所以我得重新配置一个python3.8的环境准备工作在开始菜单找到anacondaprompt(anaconda3)，进入查看已有的虚拟环境命令：condaenvlist1.conda创建虚

LinlyZhai·2024-01-10 12:06

DUET: Cross-Modal Semantic Grounding for Contrastive Zero-Shot Learning论文阅读

问题的提出引出当前研究的不足与问题属性不平衡问题属性共现问题解决方案2.数据集和模型构建数据集传统的零样本学习范式v.s.DUET学习范式DUET模型总览属性级别对比学习==正负样本解释：==3.结果分析VIT-basedvisiontransformerencoder

GCTTTTTT·2024-01-10 09:37

ModuleNotFoundError: No module named ‘SwissArmyTransformer‘

小问题，直接pipinstall pipinstallSwissArmyTransformer但是，安装之后却还是提示，屏幕上依然标红ModuleNotFoundError:Nomodulenamed'SwissArmyTransformer

技术宅学长·2024-01-10 08:39

51-6 Vision Transformer ，ViT 论文精读

论文原文:Animageisworth16x16words:transformersforimagerecognitionatscale。

深圳季连AIgraphX·2024-01-10 08:41

Chinese-llama-2部署踩坑记录

Chinese-llama-2部署踩坑记录1.Chinese-LLaMA-Alpaca-2A.部署a.inference_with_transformers_zhb.textgenerationwebui_zhc.api_calls_zhd.llamacpp_zhe.privategpt_zhf.langchain_zhToolGithub1

国家一级假勤奋大学生·2024-01-10 07:50

高光谱分类论文解读分享之基于多模态融合Transformer的遥感图像分类方法

IEEETGRS2023：基于多模态融合Transformer的遥感图像分类方法题目MultimodalFusionTransformerforRemoteSensingImageClassification

曦曦逆风·2024-01-10 07:57

NLP预训练方法：从BERT到ALBERT详解

使用的是Transformer，相对于rnn而言更加高效、能捕捉更长距离的依赖。

nnnancyyy·2024-01-10 06:41

bert和GPT使用的transformer有什么不同

Bert和GPT都使用了Transformer模型，但它们的主要用途是不同的。

Nate Hillick·2024-01-10 06:11

【组队学习】Task03：学习BERT和GPT

组队学习资料：datawhale8月组队学习-基于transformers的自然语言处理(NLP)入门Task03主要学习内容：2.3-图解BERT.md2.4-图解GPT.md声明:NLP纯小白,本文内容主要是作为个人学习笔记

诡途·2024-01-10 06:06

Transformers 2023年度回顾：从BERT到GPT4

一个关键的突破是引入了“自注意力”和用于序列处理的Transformers架构，这使得之前主导该领域的几个关键问题得以解决。在本文中，我们将研究革命性的Tr

柴神·2024-01-10 06:32

Transformer-MM-Explainability

twomodalitiesareseparatedbythe[SEP]token，thenumbersineachattentionmodulerepresenttheEq.number.Eh_hhisthemean，∇\nabla∇A:=∂yt∂A{∂y_t}\over∂A∂A∂ytforyty_tytwhichisthemodel’soutput.⊙\odot⊙istheHadamardpro

宇来风满楼·2024-01-10 05:41

书生大模型全链路开源体系

书生浦语大模型全链路开源体系开源了哪些东西数据书生万卷：一个2TB的涵盖多种模态与任务的数据集预训练InternLM-Train：微调XTuner：可供你低成本微调模型的工具箱部署LMDeploy：一个服务端场景下、transformer

攻城狮白玉·2024-01-10 03:32

Python轴承故障诊断 (十)基于VMD+CNN-Transfromer的故障分类

目录1变分模态分解VMD的Python示例2轴承故障数据的预处理2.1导入数据2.2故障VMD分解可视化3基于VMD+CNN-Transformer的轴承故障诊断分类3.1定义VMD-CNN-Transformer

建模先锋·2024-01-10 03:50

分析transformer模型的参数量、计算量、中间激活、KV cache

难得一遇的好文，转载自https://zhuanlan.zhihu.com/p/624740065，先做个简单总结：训练时的参数量由以下模型参数、前向的中间激活、后向的梯度、优化器参数组成：模型参数假设Transformer

taoqick·2024-01-10 03:13

Transformer推理加速方法-KV缓存(KV Cache)

1.使用KV缓存(KVCache)在推理进程中与训练不同，推理进行时上下文输入Encoder后计算出来的K和VK和VK和V是固定不变的，对于这里的K和VK和VK和V可以进行缓存后续复用；在Decoder中推理过程中，同样可以缓存计算出来的K和VK和VK和V减少重复计算，这里注意在输入是am计算时，输入仍需要前面I的输入。如下图：左边ATTN是Encoder，在T1时刻计算出来对应的K和VK和VK和

MLTalks·2024-01-10 03:10

解决git clone或者pip install git+https://github.com/ruotianluo/meshed-memory-transformer.git出现的一系列问题

出现的错误：问题1.fatal:unabletoaccess'https://github.com/ruotianluo/meshed-memory-transformer.git/':Failedtoconnecttogithub.comport443after21020ms

冰岛小贤·2024-01-10 03:08

【人工智能】结合代码通俗讲解 Transformer 推理性能优化技术：KV Cache

目录0.引言1.KVCache是啥？2.背景3.原理4.实现细节5.总结在解码器推理加速的时候，由于解码过程是一个token一个token的生成，如果每一次解码都从输入开始拼接好解码的token࿰

OpenChat·2024-01-10 03:37

使用Pipeline和ColumnTransformer提升机器学习代码质量

机器学习项目中最冗长的步骤通常是数据清洗和预处理，Scikit-learn库中的Pipeline和andColumnTransformer通过一次封装替代逐步运行transformation步骤，从而减少冗余代码量

子诚之·2024-01-10 00:07

了解一下InternLM2

这种模型通常采用深度神经网络结构，如Transformer、BERT、GPT（GenerativePre-trainedTransformer）等。

羞儿·2024-01-09 23:51

为什么叫chatGPT

GPT"是GenerativePretrainedTransformer的缩写，表示这个模型是一种生成式预训练的变换器模型。因此，ChatGPT就是一个用于聊天和回答问题的生成式预训练变换器模型。

胡说先森·2024-01-09 22:46

Hugging face库

1.Transformers是NLP,CV,audio，speechprocessing任务的库。它包含了超过10000个预训练的模型，涵盖了各种NLP任务，如文本分类，问答，文本生成，情感分析等。

carmen_山海·2024-01-09 21:12

Attention Is All You Need--Transformer

作者提出了一个新的简单的网络架构，叫做Transformer。这个架构只需要运用注意力机制，而不需要用RNN和CNN，通过减少模型参数简化了模型。作者通过实验同时说明了该架构的适应性较好。

sweet_Mary·2024-01-09 20:37

Transformer论文--Attention Is All You Need

作者提出了仅依赖于注意力机制的的一种新的简单网络结构（Transformer），在机器翻译任务中与其他模型相比，该模型展现了更高的并行计算量同时大大减少了训练时间。

pepsi_w·2024-01-09 20:37

Attention Is All You Need (Transformer 原文)

最近按顺序读Transformer系列经典论文最前面是论文翻译，中间是背景+问题+方法步骤+实验过程，最后是文中的部分专业名词介绍（水平线分开，能力有限，部分翻译可能不太准确）摘要主要的序列转导模型基于复杂的循环或卷积神经网络

Y蓝田大海·2024-01-09 20:36

【读文献】Attention is all your need - Transformer

题目：AttentionIsAllYouNeed主要作者：AshishVaswani，NoamShazeer主要机构：GoogleBrain，GoogleResearch发表时间：2017年1.要解决什么问题？基于RNN/CNN的Encoder-Decoder或者RNN带Attention的Encoder-Decoder不能并行计算或者并行计算的复杂度会随着输入输出距离的增加而大幅度增加，以及RN

无名草鸟·2024-01-09 20:05

论文阅读-Attention Is All You Need阅读报告-机器翻译

1Introduction本文是2017年底谷歌大脑发表的文章，针对自然语言处理领域的经典问题-机器翻译，提出了一个只基于attention的结构来处理序列模型相关的问题，该模型被称为“Transformer

完美屁桃·2024-01-09 20:05

推荐频道

TRANSFORMER

【AI视野·今日Sound 声学论文速览 第四十五期】Wed, 10 Jan 2024