autoregressive 第2页

【语音】论文阅读笔记 Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM

weixin_43870390·2023-01-05 19:21

阅读笔记-Iterative Refinement in the Continuous Spacefor Non-Autoregressive Neural Machine Translation

阅读笔记-IterativeRefinementintheContinuousSpaceforNon-AutoregressiveNeuralMachineTranslation实验ConditionalMolecularDesign尽管自回归序列建模最近取得了成功，但由于其序列处理的性质，它存在弱点。当我们试图从一个训练过的模型中解码最有可能的序列时，这个弱点就会显现出来.没有已知的多项式算法来

soccqy·2023-01-03 16:55

端到端的图像压缩----《Joint Autoregressive and Hierarchical Priors for Learned Image Compression》论文笔记

JointAutoregressiveandHierarchicalPriorsforLearnedImageCompression一简介二内容2.1创新内容2.2框架细节2.3性能三总结论文地址：https://arxiv.org/abs/1809.02736?context=cs.CV代码地址：无PixCNN论文地址:https://arxiv.org/abs/1601.06759v3PixC

叶笙箫·2023-01-03 10:15

Joint Autoregressive and Hierarchical Priors for Learned Image Compression文献复现

前言文献名称：JointAutoregressiveandHierarchicalPriorsforLearnedImageCompression本文基于CompressAI的库进行复现github地址：compressAI关于compressAI相关博客说明：CompressAI：基于pytorch的图像压缩框架使用安装好compressai后相当于把这个底层库引入了我们的工程1、创建工程我这里

小夭。·2023-01-03 10:44

ARIMA模型学习笔记

模型时间序列平稳性什么是平稳性严平稳弱平稳平稳性检验ADF检验(AugmentedDickey-Fullertest)单位根ADF检验的原理ADF检验的python实现数据平稳化对数变换平滑法移动平均法指数平均法差分法ARIMA模型介绍AR(Autoregressive

一颗洋柿子·2022-12-24 09:23

python自回归_向量自回归模型（VAR）到底厉害在哪里？

Vectorautoregressivemodel是多元时间序列分析中最基础的一族模型之一，我们可以从两个角度来理解它，从纵向比较来看，它是单变量时间序列Autoregressive(AR)模型在多元时间序列上的衍生

weixin_39994949·2022-12-20 20:46

论文笔记Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

论文针对多元概率时间序列预测（multivariateprobabilistictimeseriesforecasting）任务，提出了TimeGrad模型。有开源的代码：PytorchTS概率预测如下图所示，对未来的预测带有概率：TimeGrad模型基于DiffusionProbabilisticModel，DiffusionProbabilisticModel这里不再介绍，需要学习的请参见博客

冰冰冰泠泠泠·2022-12-20 17:56

ICML2018 | PixelSNAIL+：An Improved Autoregressive Generative Model

论文链接：PixelSNAIL:AnImprovedAutoregressiveGenerativeModel论文标题：PixelSNAIL:AnImprovedAutoregressiveGenerativeModel代码：GitHub-neocxi/pixelsnail-publicGitHub-neocxi/pixelsnail-public一、问题提出高维数据上的自回归生成模型x=(x1，

羊飘·2022-12-14 15:25

Xinlei cheng报告学习

variance方差asymmetric不对称momentumencoder动量dimension维度convergence收敛symmetrizationsy均衡contrastivelearning对比学习autoregressive

计算机视觉-Archer·2022-12-14 01:29

各种生成模型：VAE、GAN、flow、DDPM、autoregressive models

主要有如下几种生成模型：autoregressive

zephyr_wang·2022-12-02 15:22

序列模型（1）—— 难处理的序列数据

参考：《动手学深度学习》8.1节文章目录1.序列数据2.统计工具2.1自回归模型（Autoregressive）2.2马尔可夫模型2.3因果关系3.传统网络架构难以处理序列数据3.1生成训练序列3.2使用

云端FFF·2022-12-01 09:04

BERT从零详细解读：如何做预训练 - MLM+NSP

对于无监督的目标函数来讲，有两组目标函数比较受到重视，第一种是AR模型，autoregressive，自回归模型。只能考虑单侧信息，典型的就是GPT。另一种是AE模型

kikato2022·2022-11-29 13:40

ARIMA（Autoregressive Integrated Moving Average Model）

意念回复·2022-11-27 04:54

机器学习 11 种经典时间序列预测方法

VARMAX10.SES11.HWES一、时间序列预测方法1.Autoregression(AR)2.MovingAverage(MA)3.AutoregressiveMovingAverage(ARMA)4.Autoregressive

单手提煤气罐·2022-11-25 21:46

5分钟理解transformer中的decoder

一、Autoregressive（自回归）如果把decoder当成一个黑匣子，这个黑匣子先接受一个特殊符号begin，说明预测开始，第一个输出的字符为“机”，那么A再输入进decoder在输出"器"，以此类推

JackChrist·2022-11-25 09:40

机器学习-时间序列自回归移动平均模型-翻译(Autoregressive moving average model,ARMA)

目录0.前言1.自回归模型(Autoregressivemodel,简称AR)2.移动平均模型(MovingAveragemodel,简称MA)3.自回归滑动平均模型(Autoregressivemovingaveragemodel,简称ARMA)4.Noteabouttheerrorterms注意误差术语5.Specificationintermsoflagoperator滞后算符方面的规范/用

睡觉特早头发特多·2022-11-25 07:12

Cousera - Machine Learning for Neural Networks - 课程笔记 - Week 7

将一个输入序列转变成另一个域中的输出序列在没有明确目标序列的情况下，通过预测下一个项目获取一个引导信号预测下一个项目的任务实际上模糊了监督学习和非监督学习的边界在使用监督学习方法是，并不需要一个独立的引导信号（非监督学习）无记忆（memoryless）模型自回归（autoregressive

支锦铭·2022-11-24 15:35

XLNet(Generalized Autoregressive Pretraining for Language Understanding) 论文笔记

目录1.论文简介1.1自回归语言模型和自编码语言模型(AR:autoregressive)2.2自编码语言模型(AE:autoencoding)2.两个模型（AR与AE）的优缺点分别为：2.1.独立假设

茫茫人海一粒沙·2022-11-23 05:43

[论文翻译]ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking (CVPR2020)

ArTIST:AutoregressiveTrajectoryInpaintingandScoringforTracking(CVPR2020)ARTIST：自动回归轨迹绘制与跟踪评分摘要：在线多目标跟踪(MOT)框架的核心组件之一是将新的检测与现有的tracklets关联起来，通常通过一个评分函数来实现。尽管MOT取得了很大的进步，但是设计一个可靠的评分函数仍然是一个挑战。在本文中，我们引入了一

页页读·2022-11-22 01:58

口语理解-联合多意图检测和槽填充GL-GIN：Non-Autoregressive Model for Joint Multiple Intent Detection and Slot

论文题目GL-GIN:FastandAccurateNon-AutoregressiveModelforJointMultipleIntentDetectionandSlot下载地址GL-GIN官方Pytorch代码

葫芦娃啊啊啊啊·2022-11-21 23:34

语音识别论文汇总

SpeechRecognitionPapersStreamingASRRNAbasedRNN-TbasedAttentionbasedUnifiedStreaming/Non-streamingmodelsNon-autoregressive

zx超·2022-11-21 23:33

GL-GIN: Fast and Accurate Non-Autoregressive Model for Joint MultipleIntent Detection and Slot Fill

论文标题：GL-GIN:FastandAccurateNon-AutoregressiveModelforJointMultipleIntentDetectionandSlotFilling(联合多意图检测和槽位填充的快速精确非自回归模型).论文地址：https://aclanthology.org/2021.acl-long.15.pdf代码地址：GitHub-yizhen20133868/GL

托尼stark·2022-11-21 23:27

Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognit

Paraformer非自回归语音识别引言非自回归（NAR）语音识别的主要挑战有两个：如何准确预测目标token的数量、如何提取token之间的依赖。本文提取了Paraformer用于解决是上述两个问题，对于第一个问题，使用基于连续集成和发射（CIF）的来估计目标token数量，对于第二个问题，设计了一个基于浏览语言模型(GLM)的采样器模块，以增强NAR解码器对token相互依赖性建模的能力。Pa

反卷斗士小郑·2022-11-21 23:21

UNISAR: A Unified Structure-Aware Autoregressive Language Model for Text-to-SQL

简介 Text2SQL（也称为NL2SQL）是一项将用户的自然语句转为可执行SQL语句的技术，对改善用户与数据库之间的交互方式有很大意义。Text2SQL的本质，是将用户的自然语言语句转化为计算机可以理解并执行的规范语义表示(formalmeaningrepresentation)，是语义分析(SemanticParsing)领域的一个子任务。目前比较火的英文数据集有WikiSQL、

沉默魔导师LV7·2022-11-21 19:48

李宏毅《深度学习语言处理》学习笔记

个可能值语音辨识(AutomaticSpeechRecognition-ASR)语音合成SpeechSeparatioon(鸡尾酒会效应)/VoiceConversion语者辨认/关键词(唤醒词)辨认文字产生(Autoregressive

HcHJQ·2022-10-28 05:00

李宏毅 Transformer（Decoder部分）

TransformerP2_DecoderDecoder–Autoregressive(AT)Decoder–Non-autoregressive(NAT)ATv.s.NATEncoder-DecoderTraining

帅帅梁·2022-10-24 18:04

李宏毅2021春季机器学习课程笔记7： Seq2seq & Transformer

文章目录1.Seq2seq2.Encoder2.1Block2.Decoder2.1Autoregressive（AT）2.2Non-autoregressive（NAT）2.3Crossattention4

Andy in boots·2022-10-24 18:00

2022李宏毅机器学习深度学习学习笔记第三周--transformer

文章目录摘要一、transformer的引入怎么做seq2seq模型encoder的架构decoderNon-autoregressive(NAT)二、总结摘要本文介绍的内容是transformer（全自注意力网络

hehehe2022·2022-10-19 19:42

Transformer总结

Transformer总结文章目录Transformer总结前言一、Sequence-to-Sequence模型二、Transformer模型1.encoder2.decoder2.1Autoregressive2.2NonAutoregressive2.3crossattention3

卷_心_菜·2022-10-14 07:53

【论文精读2】Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time

介绍SeriesForecasting（多元概率时间序列预测的自回归去噪扩散模型）提出了自回归EBMs（基于能量的模型，通过一个称为TimeGrad的模型来解决多元概率时间序列预测问题，利用RNN+扩散模型结合捕获时间序列特征。不仅能够用概率时间序列预测的所有归纳偏差来训练这样一个模型，而且与其他现代方法相比，该模型表现得非常好。提出的imeGrad模型（作者自己起的名字），其目的是学习多元时间序

烈日松饼·2022-10-13 07:52

（pytorch进阶之路）DDPM回顾及Autoregressive diffuision model

文章目录DDPM回顾扩散过程逆扩散过程AutoregressiveDM概述DDPM回顾2020年论文《denosingdiffusionprobabilisticmodels》https://arxiv.org/pdf/2006.11239v2.pdfDDPM分为扩散过程和逆扩散过程扩散过程扩散过程是确定性的，x0到xt逐步添加噪声是没有需要训练的参数，是不可训练的固定的马尔科夫链过程，这和VAE

likeGhee·2022-09-21 10:20

论文：DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks

领域：时间序列中的概率预测（probabilisticforecasts）基础知识：解决的问题：方法：auto-regressiverecurrentnetwork效果：优势：同时预测大量的序列，例如零售中的大量商品。大量序列中的全局变量都被输入模型，被考虑。不足：点评：虽然是2019年的论文，但其实我觉得我17年就看过类似思路了wtte-rnn。

YueTann·2022-09-09 07:49

《Non-autoregressive Neural Machine Translation》（ICLR 2018）

问题：自回归：解码器具有自回归属性，生成每一个单词都依赖之前生成的单词，非并行的，速度慢解决方法：非自回归并行产生输出，在推断时候降低了一个数量级的延迟思路：首先理解和解释属于语句，同时预测一系列数字，然后通过直接复制输入文本来启动并行解码器，数字表示每个单词在输出语句中要求多少空间。自回归和非自回归对比：自回归计算公式：非自回归计算公式：，目标语句长度T由独立条件分布建模。该模型仍然具有显式似然

伟璇·2022-07-05 07:41

python时间序列滞后命令,时间序列-相关性和滞后时间

,price.Theseareallintimeseries.1)IsitnecessarythatIsmoothoutthecurvewheretheinputvariableiscyclical(autoregressive

weixin_39640203·2022-06-14 10:55

【时间序列模型】AR模型（原理剖析+MATLAB代码）

Zhi Zhao·2022-06-01 18:32

UNISAR: A Unified Structure-Aware Autoregressive Language Model for Text-to-SQL

简介 Text2SQL（也称为NL2SQL）是一项将用户的自然语句转为可执行SQL语句的技术，对改善用户与数据库之间的交互方式有很大意义。Text2SQL的本质，是将用户的自然语言语句转化为计算机可以理解并执行的规范语义表示(formalmeaningrepresentation)，是语义分析(SemanticParsing)领域的一个子任务。目前比较火的英文数据集有WikiSQL、

沉默魔导师LV7·2022-04-03 11:13

Python金融时间序列模型ARIMA 和GARCH 在股票市场预测应用

介绍一个ARMA(AutoRegressive-MovingAverage)")有两部分，AR(p)部分和MA(q)部分，表示如下其中L是滞后算子，ϵi是白噪声。

·2021-11-22 15:32

《XLNet:Generalized Autoregressive Pretraining for Language Understanding》论文笔记

一、摘要因为拥有双向建模的能力，降噪的自编码预训练模型（如BERT）通常会比基于自回归的语言模型拥有更好的效果。但是BERT模型也存在缺陷，如忽略了masked位置之间的依赖关系、预训练和微调之间存在差异（预训练有mask标签，应用在下游任务的时候没有mask标签）。本文提出的XLNet，整合了两大类模型的优点，改进了各自的缺点，主要改进：通过最大化所有可能的分解顺序的排列的期望可能性去学习双向的

XHHP·2021-11-10 14:27

Vector AutoRegressive，向量自回归模型

一、概述向量自回归（VAR,VectorAutoregression）常用于预测相互联系的时间序列系统以及分析随机扰动对变量系统的动态影响。VAR方法通过把系统中每一个内生变量,作为系统中所有内生变量的滞后值的函数来构造模型，从而回避了结构化模型的要求。Engle和Granger（1987a）指出两个或多个非平稳时间序列的线性组合可能是平稳的。假如这样一种平稳的或的线性组合存在，这些非平稳（有单位

呢嘻嘻嘻嘻嘻·2021-06-22 21:59

【数学建模】2021建模五一杯 B题消防救援问题

消防救援问题问题一人员分配简单规划问题亮点：多加参数，尽可能地适当增加无关变量（不影响大局）问题二预测模型可用时间序列分析：可参考以下模型：Daniel检验平稳性自动回归AR(Autoregressive

零碎@流年絮语·2021-05-01 11:06

李宏毅DLHLP.20.Non-Autoregressive Generation

文章目录介绍难点图片文字小结VanillaNAT(Non-AutoregressiveTranslation)FertilitySequence-levelknowledgedistillationNoisyParallelDecoding(NPD)EvolutionofNATNATwithIterativeRefinementMask-PredictInsertionTransformerKER

oldmao_2001·2020-11-21 18:00

自回归模型（AR）、移动平均模型（MA）、自回归移动平均模型（ARMA）以及差分自回归移动平均模型（ARIMA）辨析

所谓p阶自回归过程（AutoRegressive,AR），简记为AR（p)，指的是如下形式的随机过程：yt=a1yt−1+a2yt−2+...+ap

小白的学习笔记·2020-09-14 01:33

【论文解读】XLNet: Generalized Autoregressive Pretraining for Language Understanding

文章目录引言提出的方法背景目标：排列语言模型结构：基于目标感知的双流注意力融合Transformer-XL多句建模讨论Reference:1.XLNet:GeneralizedAutoregressivePretrainingforLanguageUnderstanding2.XLNet原理解读引言AR模型以前向或后向的单向方式建模语言模型p(x)=∏t=1Tp(xt∣xt)p(\bmx)=\pr

十里清风·2020-08-24 02:38

【NLP】一份相当全面的BERT模型精讲

本文概览：1.Autoregressive语言模型与Autoencoder语言模型1.1语言模型概念介绍Autoregressive语言模型：指的是依据前面（或后面）出现的单词来预测当前时刻的单词，代表有

风度78·2020-08-24 00:54

xlnet

Autoregressive和Autoencoding假设输入序列为$(w_1,w_2,w_3,w_4,w_5)$。

AGUILLER·2020-08-20 17:42

xlnet

Autoregressive和Autoencoding假设输入序列为$(w_1,w_2,w_3,w_4,w_5)$。

AGUILLER·2020-08-20 17:42

最小二乘法求AR模型

AR(Autoregressive)模型（自回归模型）：用同一变量之前的表现情况来预测该变量现在或未来的表现情况，这种预测方法只与变量自己有关，而与其他变量无关，所以称作是自回归。

printfnothing·2020-08-20 08:11

自回归（Autoregressive Models，AR）模型

已知在t−1时刻的数据rt−1，在预测t时刻rt时可能是有用的！根据这点我们可以建立下面的模型：其中{at}是白噪声序列，这个模型与简单线性回归模型有相同的形式，这个模型也叫做一阶自回归(AR)模型，简称AR(1)模型从AR(1)很容易推广到AR(p)模型：AR(p)模型的特征根及平稳性检验我们先假定序列是弱平稳的，则有;因为{at}是白噪声序列，因此有：所以有：根据平稳性的性质，又有，从而：对式

my_learning_road·2020-08-20 07:33

论文翻译：Take a NAP: Non-Autoregressive Prediction for Pedestrian Trajectories（行人轨迹预测2020）

TakeaNAP:Non-AutoregressivePredictionforPedestrianTrajectories摘要1引言2Background33ProposedMethod(方法)4实验5结论TakeaNAP：行人轨迹的非自回归预测作者：HaoXue,Du.Q.Huynh,MarkReynolds论文地址：rXiv:2004.09760v1[cs.CV]发表时间：21Apr2020

Sun_ZD·2020-08-14 01:50

贪心学院从BERT到XLNET

张俊林的详细解释在b站看贪心学院最后一节课从BERT到XLNET的分享上面PPT可以看到1.XLNET是Autoregressive模型而BERT是Auto-encoding模型,两种模型的对比解释见https

FIXLS·2020-08-13 13:46

推荐频道

autoregressive

【语音】论文阅读笔记 Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM

阅读笔记-Iterative Refinement in the Continuous Spacefor Non-Autoregressive Neural Machine Translation

端到端的图像压缩----《Joint Autoregressive and Hierarchical Priors for Learned Image Compression》 论文笔记

Joint Autoregressive and Hierarchical Priors for Learned Image Compression文献复现

ARIMA模型学习笔记

python自回归_向量自回归模型（VAR）到底厉害在哪里？

论文笔记Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

ICML2018 | PixelSNAIL+：An Improved Autoregressive Generative Model

Xinlei cheng报告学习

各种生成模型：VAE、GAN、flow、DDPM、autoregressive models

序列模型（1）—— 难处理的序列数据

BERT从零详细解读：如何做预训练 - MLM+NSP

ARIMA（Autoregressive Integrated Moving Average Model）

机器学习 11 种经典时间序列预测方法

5分钟理解transformer中的decoder

机器学习-时间序列自回归移动平均模型-翻译(Autoregressive moving average model,ARMA)

Cousera - Machine Learning for Neural Networks - 课程笔记 - Week 7

XLNet(Generalized Autoregressive Pretraining for Language Understanding) 论文笔记

[论文翻译]ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking (CVPR2020)

口语理解-联合多意图检测和槽填充GL-GIN：Non-Autoregressive Model for Joint Multiple Intent Detection and Slot

语音识别论文汇总

GL-GIN: Fast and Accurate Non-Autoregressive Model for Joint MultipleIntent Detection and Slot Fill

Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognit

UNISAR: A Unified Structure-Aware Autoregressive Language Model for Text-to-SQL

李宏毅《深度学习语言处理》学习笔记

李宏毅 Transformer（Decoder部分）

李宏毅2021春季机器学习课程笔记7： Seq2seq & Transformer

2022李宏毅机器学习深度学习学习笔记第三周--transformer

Transformer总结

【论文精读2】Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time

（pytorch进阶之路）DDPM回顾及Autoregressive diffuision model

论文：DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks

《Non-autoregressive Neural Machine Translation》（ICLR 2018）

python时间序列滞后命令,时间序列-相关性和滞后时间

【时间序列模型】AR模型（原理剖析+MATLAB代码）

UNISAR: A Unified Structure-Aware Autoregressive Language Model for Text-to-SQL

Python金融时间序列模型ARIMA 和GARCH 在股票市场预测应用

《XLNet:Generalized Autoregressive Pretraining for Language Understanding》论文笔记

Vector AutoRegressive，向量自回归模型

【数学建模】2021建模五一杯 B题 消防救援问题

李宏毅DLHLP.20.Non-Autoregressive Generation

自回归模型（AR）、移动平均模型（MA）、自回归移动平均模型（ARMA）以及差分自回归移动平均模型（ARIMA）辨析

【论文解读】XLNet: Generalized Autoregressive Pretraining for Language Understanding

【NLP】一份相当全面的BERT模型精讲

xlnet

xlnet

最小二乘法求AR模型

自回归（Autoregressive Models，AR）模型

论文翻译：Take a NAP: Non-Autoregressive Prediction for Pedestrian Trajectories（行人轨迹预测2020）

贪心学院从BERT到XLNET

端到端的图像压缩----《Joint Autoregressive and Hierarchical Priors for Learned Image Compression》论文笔记

【数学建模】2021建模五一杯 B题消防救援问题