跟着李沐学Pytorch--序列模型（一）

一、序列数据


二、统计工具
在时间t观察到xt，那么得到T个不独立的随机变量（x1 ~ xT）~ P(x)
（前后不受到影响，互相独立）
使用条件概率展开 p(a,b)=p(a)p(b|a)=p(b)p(a|b)

三、序列模型
正向：先得到X1，再推x2，x2是依赖于x1，同理，x3依赖于之前的x1,x2.
反向：（已知未来推过去）先得到xT,再反过来推。在物理层面上是不可行的，因为很多的理论是基于之前的理论。

四、自回归模型
自回归模型：给过去的数据，预测下一个数据
对条件概率建模

预测xt，对之前的xt-1个数据进行建模，也就是训练xt-1个数据，表示为f(x1,x2,…xt-1)
核心思想：怎么计算 P(xt | xt−1, . . . , x1)

4.1自回归模型（马尔科夫假设）
假设在现实情况下相当⻓的序列 xt−1, . . . , x1 可能是不必要的（如果数据很长要往前推很多，在很多时候太前的数据是没有太多的参考意义，并且会增加计算量）。

因此我们只需要满⾜某个⻓度为τ 的时间跨度，即使⽤观测序列 xt−1, . . . , xt−τ，只与τ个数据点相关，例如在过去的数据上训练一个MLP模型。

4.2 潜变量模型（隐变量⾃回归模型）
引用潜变量ht来表示过去的信息ht=f(x1,…xt-1)
这样xt=p(xt|ht)

例如h1 与之前的x和h有关，x1 只与h1有关，这样可以的到xt只与一个或者两个变量有关(xt-1、ht-1)

五、总结
1、时序数据中，当前的数据狠之前观察到的数据相关
2、自回归模型使用自身过去数据来预测未来
3、马尔科夫模型假设当前只跟最近少数数据相关（固定长度），从而简化模型
4、潜变量模型使用潜变量来概括历史信息（模型变成两块，更新潜变量和更新数据）