Savannah913

面向预测的时空数据学习方法分析

面向预测的时空数据学习方法研究--《北京交通大学》2021年博士论文 (cnki.com.cn)

第3章面向时空网格数据预测的三维卷积神经网络模型

简述深度时空三维卷积神经网络模型

2个组件

近期依赖组件（过去几天）

周周期依赖组件(过去几周)

融合层

第4章面向时空图数据预测的时空注意力图神经网络模型

简介

问题定义

基于注意力机制的时空图卷积神经网络

时空注意力模块

时空图卷积模块

ASTGCN与ASTGNN的区别

基于编码解码架构的时空注意力图神经网络

时间趋势感知多头自注意力

空间动态图卷积

周期性

位置编码

第5章面向时空事件发生位置预测的深度生成模型

问题定义

模型整体结构

时空异质网络嵌入

时空图的构造

元路径

节点表示学习

历史时空事件编码

连续时间嵌入

层次式空间感知编码器

模型推断

第6章面向时空事件发生时间预测的深度生成模型

编辑

问题定义

模型整体结构

模型推断

总结

第3章面向时空网格数据预测的三维卷积神经网络模型

目标：基于历史的时空交通网格数据，预测未来一段时间内，全部区域范围内的交通情况。

时空网格数据特点：时间相关性、空间相关性、空间维度异质性、时间维度周期性，且均匀分布区域上以固定时间间隔统计的数据

定义数据：根据经、纬度将连续区域划分为IxJ个大小相等的区域，每个小区域用Si,j表示，并以特定时间间隔对每个小区域的某些观测值进行采样。
其中， $x^{c,i,j}_{t}\in\mathbb{R}$ 表示在第t个时间步,区域(i,j)的第c类观测量的值。张量 $X_{t}\in \mathbb{R}^{C*I*J}$ 表示在第t个时间步,所有IxJ区域的观测值。 $(X_{t})_{c,i,j}=x^{c,i,j}_{t}$
定义问题:研究拥堵预测问题时，令C={0},那么 $x^{0,i,j}_{t}$ 表示在第t个时间步区域(i,j)的拥堵情况。
研究人流量预测问题时,C={0,1},那么 $x^{0,i,j}_{t}$ 和 $x^{1,i,j}_{t}$ 分别表示在第t个时间步区域(i,j)中的人群的流入流出量。

简述深度时空三维卷积神经网络模型

2个组件

①负责捕获交通网格数据的近期依赖(closeness)
交通数据在时间维度上呈现的局部模式。当前的交通数据与最近的历史数据密切相关。
②负责排获交通网格数据的周周期依赖(weekly Period)
交通数据在长时间范围内存在的周期性和趋势性。

近期依赖组件（过去几天）

输入为近期历史子序列 $X_{c}^{(0)}= [X_{t-d_{c}}, X_{t-(d_{c}-1)},......X_{t}]\in \mathbb{R}^{C*I*J*d_{c}}$ ，其中， $d_{c}$ 为近期依赖序列的长度，每个时间步的数据特征 $\mathbb{R}^{C*I*J}$ ,C={0},表示区域(i,j)的拥堵情况,C={0,1},表示在第t个时间步区域(i,j)中的人群的流入流出量。

①3D Conv：处理输入数据 $X_{c}^{(0)}$ ，捕捉时空相关性。
（三维卷积)
②ResUnit：处理交通数据在更大空间范围的特征
（二维残差单元)
③重较准（RC)：显示量化由上述神经网络学习到的时空特征对最终预测目标的重要性

①三维卷积Con3D
在时空网格数据中，邻近位置和相邻时间步观测的值都是相关联的，所以需要三维卷积捕获这种相关性。
堆叠Lc个三维卷积层去同时捕获时空网格数据在时空数据上的相关性。

$X^{(l)}=f(W^{(l)}_{c}*X^{(l-1)}_{c}+b^{(l)}_{c}),l = l,....,L_{ c}$

*卷积运算， $X^{l-1}\in \mathbb{R}^{C_{l-1}*I*J*T_{l-1}}$ 是第l个三维卷积层的输入， $C_{l-1}$ 为通道数（不同通道一不同卷积核—不同特征)，f表示激活函数，W和b是可学习参数。

②残差单元
        堆叠了Lc个三维卷积层后，时间维度上的特征得到了有效地挖掘。但是空间维度尺寸远大于时间尺寸，所以需要用二维卷积进一步探索空间上的模式。
        一个二维卷积层仅能建模卷积核大小范围内的空间相关性为了扩大局部邻域范围内的空间相关性，需要连续堆叠多个卷积层，此时需要残差连接来维持较好的训练效果。
        在上述Lc个三维卷积层之后继续堆叠Lr个残差单元，其中，一个残差模块由两个激活层和两个二维卷积层顺序堆叠而成。

$X^{Lc+l}_{c} = X^{Lc+l-1}_{c} + F(X^{Lc+l-1}_{c}+\theta ^{l}_{c}),l=1,......,Lr$

$\theta ^{l}_{c}$ 第l个残差单元可学习参数集合， $X^{Lc+l-1}_{c}$ 第l个参差单元的输入， ${C}'_{Lc+l-1}$ 为通道数，当l=1时,为了对 $X^{(Lc)}_{c}\in \mathbb{R}^{C_{Lc}*I*J*T_{Lc}}$ 进行二维卷积,需要将 $X^{(Lc)}_{c}$ 重构→ $X^{(Lc)}_{c}\in \mathbb{R}^{{C}'_{Lc}*I*J}$ ，其中， ${C}'_{Lc} = C_{Lc}T_{Lc}$ ，才能对不同特征 ${C}'_{Lc}$ 的I*J进行二维卷积操作，捕捉空间上的相关性。

③重校准模块(RC)
时空交通网格数据中的不同网格区域有不同特点,RC可以充分考点这种特征重要程度的异质性。同一时空相关性的重要程度在空间维度是变化的。因此量化和调整同一特征对不同空间区域上的预测目标的重要程度是预测任务的关键环节。在最后一个残差单元ResUnit后堆叠一个Rc模块。

$X_{c} = \sum_{k=1}^{{C}'_{Lc+Lr}} w_{c}^{k} \circ x_{c}^{k}$

o表示哈达玛积，量化各个通道级别的特征的重要性特征，通道特征的贡献度，增强有用特征贡献度，抑制无用特征贡献度。 $W_{c} = [w_{c}^{1},.......,w_{c}^{{C}'_{Lc+Lr}}]$ 。

周周期依赖组件(过去几周)

输入为近期历史子序列 $X_{w}^{(0)}= [X_{t-d_{w}P_{week}}, X_{t-(d_{w}-1)P_{week}},......X_{t-P_{week}}]\in \mathbb{R}^{C*I*J*d_{w}}$ ，其中 $P_{week}$ 固定为一星期， $d_{w}$ 表示周周期依赖序列长度，即考虑历史 $d_{w}$ 个星期的信息。

周周期性组件首先利用卷积层捕获交通数据在时间维度存在的周期模式，然后利用重校准模块来重新量化由底层神经网络学习到的时空特征对于每个网格区域最终预测目标的重要性。

①三维卷积Con3D

使用三维卷积是为了捕获沿时间维度的周周期性和趋势模式，因此，三维卷积中沿着时间维度的卷积核尺寸设置为大于1的正数，而沿着其他两个空间维度的卷积核尺寸设置为1。卷积核大小n*1*1。

$X^{(l)}_{w}=f(W^{(l)}_{w}*X^{(l-1)}_{w}+b^{(l)}_{w}),l = l,....,L_{ w}$

$X^{l-1}_{w}\in \mathbb{R}^{C_{l-1}*I*J*T_{l-1}}$ 是第l个三维卷积层的输入， $C_{l-1}$ 为通道数f表示激活函数，W和b是可学习参数。

②重校准模块(RC)

为不同区域的不同特征分配不同权重。

$X_{w} = \sum_{k=1}^{{C}'_{Lw}} w_{w}^{k} \circ x_{w}^{k}$

融合层

近期依赖组件和周周期依赖组件的输出分别表示为 $X_{c}$ 和 $X_{w}$ 。近期依赖组件和周周期依赖组件的重要性程度在所有网格区域上并不是完全相同的。在将两个输出融合时，两种类型特征的重要程度需要从历史数据中学习得到。

$X_{f} = W_{fc}\circ X_{c}+W_{fw}\circ X_{w}$

将两个子组件的输出进行融合后，经过一个激活函数，得到最终的预测输出：(eg:Relu)

$\widehat{X_{f}}=f(X_{f})$

损失函数:均方误差(Mean Squared Error, MSE)

优化器:Adam算法

第4章面向时空图数据预测的时空注意力图神经网络模型

简介

①基于注意力机制的时空图卷积模型（ASTGCN）
将ChebNet图卷积与时间维度一维卷积相结合，用于解决时空交通图数据的预测问题。用时空注意力模块自适应地调节图信号序列在时间和空间维度上的相关性的强弱。提取了与预测目标处于相同时间段的三段子序列，并采用三个结构相同的子网络分别建模交通数据的周周期模式、天周期模式和局部模式。

②时空注意力图神经网络模型（ASTGNN）
ASTGNN利用注意力机制充分建模了交通数据在时间和空间维度的动态性。时间维度的注意力机制使得输入序列中的任意两个时间步的信息都可以进行直接交互而忽略他们之间的距离，这使得ASTGNN拥有一个高效的全局感知域，从而保证其能够进行准确的长期预测。
在时间维度，设计了一种趋势感知自注意力模块，使自注意力能够感知时间序列的局部变化趋势；同时，提出了一种新颖的动态图卷积模块，该模块可以有效捕获交通数据中动态的相关性。

问题定义

交通网络：有向或者无向图G = (V,E)

图信号矩阵：第t个时间间隔内，交通网络G上的信号矩阵 $X = (X_{t,1},X_{t,2}......X_{t,N})\in \mathbb{R}^{N*C}$ (N个图节点，每个节点C个特征观测值) $X_{t,v}$ ：在第t个时间间隔内节点v的C个观测值。

历史 $T_{h}$ 个时间片的时空图信号矩阵 $X = (X_{t-T_{h}+1},X_{t-T_{h}+2}......X_{t})\in \mathbb{R}^{N*C*T_{h}}$ ,全局周期序列 $X_{g}$ 和局部周期序列 $X_{l}$ ，预测时间片内的图信号矩阵 $Y = (X_{t+1},X_{t+2}......X_{t+T_{p}})\in \mathbb{R}^{N*C*T_{p}}$ 。

基于注意力机制的时空图卷积神经网络

时空注意力模块

注意力机制

核心思想：突出对象的某些重要特征，根据对象的重要程度赋予权重重新分配资源。

空间维度注意力

该模块的核心思想是根据输入数据自适应地计算空间邻居节点之间的相关性强弱。

$S = V_{s}\cdot \sigma ((X^{(l-1)}W_{1})W_{2}(W_{3}X^{(l-1)})^{T}+b_{s})$

${S}'_{i,j} = \frac{exp(S_{i,j})}{\sum_{j=1}^{N}exp(S_{i,j)})}$

$\sigma$ 表示sigmoid函数。 $X^{(l-1)}$ 是第l个时空注意力模块的输入。矩阵中的任意一个元素 ${S}'_{i,j}$ 表示了图中节点i和节点j之间的相关性强弱。为了动态控制图卷积中信息聚合时邻居节点的重要程度，此处利用公式 $T_{k}(\widetilde{L})\bigodot {S}'$ 实现对相关性的动态建模，其中 $\bigodot$ 表示哈达玛乘积。

时间维度注意力

时间维度根据输入数据自适应地计算相邻时间片的数据点之间的相关性强弱。

$E = V_{e}\cdot \sigma ((X^{(l-1)}U_{1})U_{2}(U_{3}X^{(l-1)})^{T}+b_{e})$

${E}'_{i,j} = \frac{exp(E_{i,j})}{\sum_{j=1}^{N}exp(E_{i,j)})}$

矩阵中的任意一个元素 ${E}'_{i,j}$ 表示了图中节点i和节点j之间的相关性强弱，根据 ${E}'_{i,j}$ 对输入数据做出动态调整，形式化表示为 $X^{(l-1)}{E}'_{i,j}$

时空图卷积模块

采用ChebNet图卷积建模时空图数据在非欧空间上的相关性, 利用一维卷积捕获时空图数据在时间维度的相关性。

空间维度ChebNet图卷积

ChebNet利用切比雪夫多项式将图卷积的操作限制在了K阶邻域内（控制了卷积的感受野），在时空图数据上, 通过堆叠多层ChebNet图卷积就可以由近及远依次捕获图结构上节点之间的空间相关性了。

ChebNet形式化表示为 $chebNet(x) = \sum_{k=0}^{k-1}\Theta _{k}T_{k}(\widetilde{L})X$

$ChebNet(x) = \Theta _{0}T_{0}(\widetilde{L})X+ \Theta _{1}T_{1}(\widetilde{L})X+......+ \Theta _{k-1}T_{k-1}(\widetilde{L})X$

X是由之前的空间注意力机制计算出来的加权后的（ $T_{k}(\widetilde{L})\bigodot {S}'$ ）。
$\widetilde{L}$ 是归一化的拉普拉斯矩阵 $\widetilde{L} = \frac{2L}{\lambda _{max}}-I$ (), $\lambda _{max}$ 是L的最大特征值。

$\Theta \in \mathbb{R}^{k}$ 是待学习的参数，对应于契比雪夫多项式系数。

时间维度一维卷积

建模时空图数据在时间维度上的相关性，模型采用沿时间维度的一维卷积对数据进行处理。该一维卷积核1*n在每个节点上都是共享的。一维卷积的输入同样是经过了时间注意力机制之后的加权值 ${E}'_{i,j}X^{(l-1)}$ 。

ASTGCN与ASTGNN的区别

ASTGCN结合注意力机制和时空图卷积描述时空图数据的时空动态性，但是时间维度一维卷积受感受域大小的限制，无法有效建模时间维度任意两个时间步之间的相关性。此外ASTGCN没有对时空图数据的异质性进行建模。基于编码解码架构的时空注意力图神经网络ASTGNN利用自注意力机制建模时间维度动态性并遵循编码器（encoder）-解码器（decoder）框架，可以实现任意两个时间步的相关性，对时空图数据的异质性进行充分建模。

基于编码解码架构的时空注意力图神经网络

补充：

时间趋势感知多头自注意力

补充多头自注意力机制

多头自注意力可以使模型直接建模序列中任意两个元素之间的相关性而无视他们之间的距离，即多头自注意力机制使得ASTGNN模型在时间维度上具有全局感知域，但是连续数据预测中传统多头自注意力不可感知局部趋势，所以使用一维卷积运算代替了传统自注意力机制中的线性映射函数，即时间趋势感知自注意力机制

$\bigstar$ 表示卷积操作， $\Phi _{j}^{Q},\Phi _{j}^{K}$ 表示卷积核，通过时间趋势感知自注意力机制，模型可以准确地建模交通数据在时间维度的动态性，此时得到的中间表示为 $Z^{(l-1)} = (Z_{t-T_{h}+1}^{(l-1)},Z_{t-T_{h}+2}^{(l-1)}......Z_{t}^{(l-1)})$

空间动态图卷积

使用GCN捕获不规则的图数据中蕴含的局部和全局空间模式。图卷积的目的是让节点的信息沿着图结构由近及远进行传播，进而学习得到新的图节点表示。具体来说，给定一个节点，GCN首先聚合其邻居表示，得到融合了邻域信息的节点表示，然后再经过线性变化和非线性激活得到节点的最终表示。

$GCN(Z_{t}^{(l-1)}) = f(\overline{A}Z_{t}^{(l-1)}W^{(l)})$

如果说ChebNet图卷积是用K阶邻域来控制感受域，那么GCN就是用一阶邻居感受域通过叠加多层的方式实现节点信息的传播，一般叠加2~3层。

补充GCN：

思想：每层GCN的输入为邻接矩阵A和节点的特征矩阵H∈ $R^{n*c}$ ，现将A与H相乘在乘以参数矩阵W，最后对其应用激活函数，这就相当于一个简单的神经网络，由于邻接矩阵主对角线(描述节点自身关系)为0，在进行计算时会忽略节点本身，所以A+I，再对其进行标准化处理就会得到最后的 $\overline{A}$ 。

将GCN应用于交通图上，可以捕获节点间的空间相关性，但是无法捕获时间上相关性的动态变化，因为节点间相关强度的权重矩阵 $\overline{A}$ 是固定的，结合之前的时间趋势感知多头自注意模块的输出 $Z^{(l-1)} = (Z_{t-T_{h}+1}^{(l-1)},Z_{t-T_{h}+2}^{(l-1)}......Z_{t}^{(l-1)})$ 那么，空间相关性权重矩阵可以计算为

$S_{t}$ 中的任意元素 $S_{i,j}$ 反映了节点i，和节点j之间的关联性强度，即较大的值表示相关性强，较小的值表示相关性弱，这样就可以自适应地学习节点之间的动态性，那么动态图卷积就可以表示为：

$X_{t}^{(l)} = DGCN(Z_{t}^{(l-1)}) = \sigma ((\overline{A}\odot S _{t})Z^{(l-1)}_{t}W^{l})$

经过如下所示L个编码层之后，就得到新的输出

$X^{(l)} = (X_{t-T_{h}+1}^{l},X_{t-T_{h}+2}^{l},......,X_{t}^{l})\in \mathbb{R}^{N*d_{model}*T_h}$

时空解码器

时空解码器以自回归方式进行数据序列的预测，每个解码器层均包含两个时间趋势感知多头注意力模块和一个空间动态图卷积模块。为了防止在解码器中做自注意力运算时利用到未来的信息，配合掩码机制，时间趋势感知多头自注意模块中的查询和键值上的一维卷积操作被替换成因果卷积。

周期性

全局周期张量.为了捕获全局周期性，ASTGNN模型可以在输入数据中进一步考虑了前w周内和预测目标具有相同星期属性且处于相同时间段的个时间步的交通图序列数据，用张量 $X_{g}\in \mathbb{R}^{N*C*w*T_{p}}$ 表示，即抽取前w周，每周Tp个小时。

局部周期张量.为了捕获局部周期性，需要考虑过去连续d天内每天与预测目标处于相同时间范围内的 $T_{p}$ 个交通图信号， $X_{l}\in \mathbb{R}^{N*C*d*T_{p}}$ ，即抽取前d天，每天Tp个小时。

将全局周期张量 $X_{g}$ 和局部周期张量 $X_{l}$ ，拼接在一起，得到形状为 $R^{N*C*(w*T_{p}+d*T_{p}+T_{h})}$ 的张量作为输入。

位置编码

时间位置编码

为输入 $X^{(0)}$ 增加一个位置嵌入向量，保证相邻元素拥有相近嵌入，采用Sinusoidal位置编码，则处于位置t的元素的位置嵌入向量的每一维d,1 $d_{model}$ 的表示为：

一文读懂Transformer模型的位置编码 - 知乎 (zhihu.com)

空间位置编码

         图卷积（GCN）运算使邻居节点具有相似的表示，这样在节点表示中就蕴含了图结构信息。

①为每个节点分配一个嵌入向量，从而得到一个初始的空间位置嵌入矩阵 $E^{(0)}_{SP}\in R^{N*d_{model}}$         ②利用图卷积（GCN）对节点表示进行拉普拉斯平滑，得到最终的空间位置嵌入矩阵 $E_{sp}$ 。

第5章面向时空事件发生位置预测的深度生成模型

目标：在已知用户历史移动行为的情况下，建模用户将要到访的下一个位置的生成过程。

        用户移动事件序列中每个事件样本点是由时间特征（定位时间）和空间特征（定位地点）唯一确定的。充分挖掘位置地和时间片之间的多种语义关系，有助于更全面地建模用户移动事件发生的时空上下文场景。

问题定义

用户集合U={ $u_{1},u_{2},......u_{M}$ }，位置地点集合 $V_{l}$ = { $l_{1},l_{2},......l_{N}$ }，每个位置的属性有位置地的经度、纬度和其所属的POI类型（lat,lng,cat），时间节点的特征：星期属性、时间片索引。历史事件序列 $E = [e_{1},e_{2},.....e_{n}]$ ，事件的发生严格沿时间递增， $e_{i}=(t_{i},l_{i})$ 表示用户的一个移动事件。目标是预测下一个移动事件发生时用户将到访的位置 $e_{n+1}.l$

由于数据缺失等问题，记录中任意两个连续的移动事件之间的时间间隔可能会非常大，那么这样的两个连续的移动事件之间的因果关联关系将会很微弱。可以在每个会话窗口内任意两个连续的移动事件的发生时间间隔小于阈值，并且在预测时只对当前会话窗口内的用户将要到访的下一个位置进行预测。

模型整体结构

①从先验分布p(c)中选择一个主题类别c

②从第c个服从高斯分布的主题表示中生成一个该主题类别对应的主题表示向量 $Z\in \mathbb{R}^{d}$ ,具体形式化描述如下：

$p(c) = Categorical(\pi _{c})$

$p_{\Theta }(z|c) = Normal(\mu_{c}, \sigma_{c}^{2}I )$

         其中,先验分布中的 $\pi _{c}\in \mathbb{R}^{c}$ 是一个超参。 $\mu_{c}, \sigma_{c}^{2}$ 是高斯混合分布中每个高斯先验分布的均值和方差，会随着模型进行端到端的训练。

③当得到了用户的主题需求后，就可以从下面的多项分布中生成下一个移动事件发生时用户到访的位置：

         $p_{\Theta }(l|z,e_{1:n},u) = Categorical(\pi _{l})$

        其中，多项分布中的参数 $\pi _{l}\in \mathbb{R}^{C}$ ，由用户u，下一个移动事件的主题表示z及历史移动事件序列 $e_{1:n}$ 共同决定。

时空异质网络嵌入

        构造时空异质图的目的是为移动事件发生时的时空上下文提供全面的描述, 这种全面的描述不仅仅包含对位置信息和时间信息的描述，还揭示了它们之间的关系，步骤如下：

        ①构造一个以位置地和时间片为节点的时空图分别为位置节点和时间节点定义两种类型的元路径。
        ②然后，采用一种基于注意力机制的层次式聚合方式，先将指定元路径下节点的邻居表示进行聚合，然后再将不同元路径下的节点表示进行聚合得到最终的节点表示。

时空图的构造

时空异质网络图G = $(V,\varepsilon )$ ，（点，边）
对于图的节点：时间维度离散化为大小相等的时间片， $V_{t}$ 表示时间节点， $V_{l}$ 表示位置地点， $V=V_{l}\cup V_{t}$ ，使用T表示时间节点的节点类型，用S表示空间节点的类型。
对于图的边： $\varepsilon :=\varepsilon _{ll}\cup \varepsilon_{tt}\cup \varepsilon _{lt}$ 三种边
如下图所示，两种点，三种边：

元路径

        四种类型的元路径，包括为时间节点定义的两类元路径中 $\Phi _{T}:=$ {TT,TST}和为空间节点定义的两类元路径中 $\Phi _{T}$ :={SS,STS}，则通过上述定义的元路径可以连接任意两个同类型节点以此来学习到时间节点的相似性和周期性、空间节点的邻近性和相似性。

节点表示学习

①得到时间（空间）初始向量表示
        模型先为每类特征随机初始化一个维度为 $n_{f}*d_{e}$ 的嵌入矩阵，其中 $n_{f}$ 表示该特征取值集合的势， $d_{e}$ 表示嵌入向量的维度，嵌入矩阵中每一行对应了特征的某个特定取值的向量表示。给定一个节点，将其原始特征的嵌入表示的拼接作为该节点的初始向量表示。
        定义两个特征映射函数: $\mathbb{I}_{t}(t),\mathbb{I}_{s}(l)$
         $\mathbb{I}_{t}(t)$ 将一个时间片作为输入，输出该时间片节点的初始向量表示，即将该时间片的星期属性的表示和时间片索引的表示作拼接得到v ∈ $\mathbb{R}^{2d_{e}}$ 。
         $\mathbb{I}_{s}(l)$ 将空间节点作为输入，输出该空间节点的初始向量表示，即将该空间节点的经度索引、维度索引、POI类别索引对应的向量表示作拼接得到v ∈ $\mathbb{R}^{3d_{e}}$ 。

②将时间（空间）节点的初始向量表示作为输入，通过异质网络嵌入模块(STHGE）得到聚合了不同语义的邻居信息的时间（空间）节点表示 $r^{t}(r^{s})$
        用r表示异质网络中的任意一个节点。给定一个时间节点的初始表示向量 $v_{i}\in \mathbb{R}^{2d_{e}}$ ， $N_{i}^{p}$ 表示其在元路径 $p\in \Phi _{T}$ 下的邻居节点的集合。
       STHGE模块第一步先聚合元路径定义下的邻居节点表示生成该节点在元路径p下的节点中间表示 $r_{i}^{p}$ 。形式化定义如下:

         在实际计算中，本研究采用K'头注意力机制。即在执行元路径下的节点表示聚合前，
        先将节点的初始表示通过线性变换 $W_{k}v_{j}$ 映射到K'个不同的子空间，其中k= {1,2.... K'}。
        然后在不同的子空间进行给定元路径下的节点表示的聚合操作。
        最后再将不同子空间下得到的聚合后的节点表示 $r^{(p,k)}_{i}$ 拼接映射成最终节点中间表示 $r_{i}^{p}$ 。
接下来，STHGE模块进一步采用注意力机制聚合不同元路径下的节点表示以得到最终的节点表示：

$p\in \Phi _{T}$ ， $f_{\alpha },f_{\beta },f_{\gamma }$ 是三个多层感知机。

上述是对时间节点的聚合操作，空间节点的表示向量同上，最后，将STHGE输出的时间节点表示向量和空间节点表示向量进行拼接得到移动事件 $e_{i}$ 的表示向量 $x_{i}:=r_{i}^{t}||r_{i}^{s}\in \mathbb{R}^{2F}$ 。

历史时空事件编码

从 $x_{1:n}$ 到历史模式向量表示h，利用连续时间嵌入模块的层次式空间感知编码器来捕获移动事件的异步性和时空相关性。

连续时间嵌入

对于连续事件之间的不等长的时间间隔信息，采用连续时间嵌入(CTE)的方式进行建模，即从连续1维时域到d维向量空间的函数映射，CTE与自注意机制相配合，使得模型在进行自注意的运算时可以感知到任意两个连续的事件之间不等长的时间间隔信息。

$\omega_{k}\in \mathbb{R}$ 是模型的学习参数

$x{}'_{i} = Wx_{i}+f_{CTE}(t_{i})$

W是为了将原始事件表示向量映射到与CTE表示向量同一个维度。

层次式空间感知编码器

主要任务就是得到整个历史事件序列的表示h

$h = f_{hsa}(x{}'_{1:n})$

        层次式空间感知编码器由两个空间感知编码模块组成，其中第一个称为局部空间感知编码模块，它旨在学习每个会话内部的事件发生模式；第二个称为全局空间感知编码模块，它旨在捕获处于多个会话的事件之间的相关性。局部(全局)空间感知编码模块分别由 $N_{t}$ ( $N_{g}$ )个空间感知编码器单元组成。

         空间感知编码器单元由一个多头空间感知自注意力层和一个在不同位置上共享的前馈神经网络组成。此外，模型中为每层操作都加入了残差连接和层正则化操作以保证模型网络层数加深时的训练效率。

多头空间感知自注意力层(MHSA)

         $B\in \mathbb{R}^{n*n}$ 是空间距离矩阵，其中任意一个元素 $B_{i,j} = log(1+dist(e_{i}.l,e_{j}.l))$ , dist(•, •)表示了任意两个事件发生的位置地之间的地理距离。多头空间感知自注意力中，每个头的空间感知自注意力定义如下：

        在进行两个移动事件的注意力分数的计算时减去了两个移动事件发生的距离偏置项，使得模型可以有效地感知空间信息，赋予近距离的位置地更大的权重。

模型推断

结合混合高斯分布(GMM)与变分自动编码器(VAE)的相关知识进行理解：

变分自编码器（VAEs） - 知乎 (zhihu.com)

GMM中的不同高斯的权值是离散分布的，而VAE中的隐变量z是连续分布的，一般是一个高斯分布。那么x的分布情况：

$P(x) = \int_{z}P(z)P(x|z)dz$

在论文中，由于Z~ $p_{\Theta }(z|c)$ ，到访位置 $l_{n+1}$ ~ $p_{\Theta }(l|z,e_{1:n},u)$ ，所以其分布表示为：

$p_{\Theta }(l|z,e_{1:n},u) = \int _{z}\sum_{c}p_{\Theta }(l|z,e_{1:n},u)p_{\Theta }(z|c)p(c)dz$

        似然函数表示为 $L = \sum_{x}logP(x)$ ，求似然函数最大值也就是求logP(x)的最大值，即：

上述对连续高维变量z的积分无法计算，所以引入q(z|x)来帮助计算logP(x)，对于q(z|x)的引入是通过乘以一个除以一个，再将两项分别计算，所以，对于原来的logP(x)来说，q(z|x)可以是任何分布，引入q(z|x)化简为:

        论文中引入的q(z|x)如下：

         KL散度衡量两个分布的距离，所以KL(q,p)≥0，那么原式就可以写成：

$logP(x)\geq L_{b}$

论文中的q分布如下：

        对于原来的似然函数，很大程度取决于Lb的值，如下化简利用了蒙特卡洛估计，即计算其后验分布的数学期望。

论文中的表示如下：

         KL散度越小，似然函数越大，所以这里的q分布趋近于P(z,c)分布，似然函数的取值取决于前面的期望值。利用如下模型，论文采用多层感知机，反向传播梯度调整参数，使得似然函数最大化，优化编码器解码器中的参数，使μ(x)接近x，即得到 $e_{n+1}.l$ 。

左边是q(z|x)的过程，编码器的过程，右边是解码器的过程，即p(x|z)的过程。

第6章面向时空事件发生时间预测的深度生成模型

问题定义

   数据定义同第五章 $e_{i}.\tau := e_{i}.t - e_{i-1}.t$ 表示两个相邻发生的移动事件之间的时间间隔，目标是预测下一个移动事件发生的时间 $e_{n+1}.\tau$ 。

模型整体结构

①从先验分布p(c)中选择一个主题类别c
②采样一个该主题类别对应的主题表示变量z~ $p_{\Theta }(z|c)$
③采样用户下一个移动事件发生的时间距当前时刻的时间间隔 $\tau _{n+1}$ ~ $p_{\Theta }(\tau |z,e_{i:n,u})$

建模事件发生的时间间隔，采用包含K个组件的混合对数正态分布建模下一个事件发生的时间 $t_{n+1}$ 与当前事件发生的时间 $t_{n}$ 之间的间隔 $\tau _{n+1}$

选择用混合对数正态分布建模时间间隔的优点：
        ①混合对数正态分布具有逼近任何函数的表示能力，可以充分学习人们复杂的移动行为模式。
②混合对数正态分布的期望有解析解，计算下一个事件发生的时间间隔的期望时会很高效。

(5条消息) 对数正态分布的期望方差_黎明的清新的博客-CSDN博客_对数正态分布的期望和方差

   $\pi _{r} = {}$ { $\pi _{1},\pi _{2},......\pi _{k}$ }， $\mu _{r}=$ { $\mu _{1},\mu _{2},......\mu _{k}$ }， $\sigma _{\tau }^{2} =$ { $\sigma _{1}^{2},\sigma _{2}^{2},......,\sigma _{k}^{2}$ }

模型推断

与第5章不同在于，第6章对于时间间隔的建模采用的是混合对数正态分布MixLogNorm()，第5章对于位置点的建模采用的是混合高斯分布，但是对于参数的学习，求最大似然函数以及求 $e_{n+1}.\tau$ ，都同第5章一样。

总结

情绪觉察日记第37天露露_e800
今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
铭刻于星（四十二）随风至
69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
UI学习——cell的复用和自定义cell Magnetic_h ui 学习
目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
学点心理知识，呵护孩子健康静候花开_7090
昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值）研学随笔 arcgis 经验分享
我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数广龙宇一起学Rust #Rust设计模式 rust 设计模式开发语言
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
回溯 Leetcode 332 重新安排行程 mmaerd Leetcode刷题学习记录 leetcode 算法职场和发展
重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
2019-12-22-22:30 涓涓1016
今天是冬至，写下我的日更，是因为这两天的学习真的是能量的满满，让我看到了自己，未来另外一种可能性，也让我看到了这两年这几年的过程中我所接受那些痛苦的来源。一切的根源和痛苦都来自于人生，家庭，而你的原生家庭，你的爸爸和妈妈，是因为你这个灵魂在那一刻选择他们作为你的爸爸和妈妈来的，所以你得接受他，你得接纳他，他就是因为他的存在而给你的学习和成长带来这些痛苦，那其实是你必然要经历的这个过程，当你去接纳的
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
四章-32-点要素的聚合彩云飘过
本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
GitHub上克隆项目 bigbig猩猩 github
从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
HTML网页设计制作大作业（div+css）云南我的家乡旅游景点带文字滚动二挡起步 web前端期末大作业 web设计网页规划与设计 html css javascript dreamweaver 前端
Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
node.js学习小猿L node.js node.js 学习 vim
node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
阶段总结反思轻争
马上就要进入10月份了，今天做一下前段时间的总结和反思。前段时间，日更、英语、健身、护肤坚持的比较好。阅读、书法坚持的不好。1.中间被迫停更半个多月，其余时间一直在坚持日更挑战。偶尔也有不想写的时候，就做一下摘抄。因为阅读（输入）没跟上来，所以写作（输出）质量有待进一步加强。2.英语做到了一周至少学习5天，每次不少于30分钟，但是小班课没有跟上更新速度，下一步要争取利用零碎时间补听小班课。3.减肥
ARM驱动学习之基础小知识 JT灬新一 ARM 嵌入式 arm开发学习
ARM驱动学习之基础小知识•sch原理图工程师工作内容–方案–元器件选型–采购（能不能买到，价格）–原理图（涉及到稳定性）•layout画板工程师–layout（封装、布局，布线，log）（涉及到稳定性）–焊接的一部分工作（调试阶段板子的焊接）•驱动工程师–驱动，原理图，layout三部分的交集容易发生矛盾•PCB研发流程介绍–方案，原理图(网表)–layout工程师（gerber文件）–PCB板
ARM驱动学习之5 LEDS驱动 JT灬新一嵌入式 C 底层 arm开发学习单片机
ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
ARM驱动学习之4小结 JT灬新一嵌入式 C++arm开发学习 linux
ARM驱动学习之4小结#include#include#include#include#include#defineDEVICE_NAME"hello_ctl123"MODULE_LICENSE("DualBSD/GPL");MODULE_AUTHOR("TOPEET");staticlonghello_ioctl(structfile*file,unsignedintcmd,unsignedlo
展现思维导图魅力，不断挖掘人生宝藏思维导图讲师Mandy
第13期最强思维导图训练营已经结束一周了，但是我依旧是感觉所有学员还在努力的学习，这些学员中有教师、学生、白领、公务员、宝妈等等，只要你努力，只要你想改变自己，任何行业，任何岗位都可以参与进来，28天足以让你见成效，在这28天中，我们的学员不仅仅是收获了一枚毕业证，最重要的是让自己的思维方式得到升级，今天的你为自己投资，明天的你就会感谢你今天的付出，我们来听一听来自13期最强思维导图训练营优秀学员
2019-3-23晨间日记红红火火小耳朵
今天是什么日子起床：7点40就寝：23点半天气：有太阳，不过一会儿出来一会儿进去特别清爽的凉意，还蛮舒服的心情：小激动要给女朋友过生日啦纪念日：田田女士过生日任务清单昨日完成的任务，最重要的三件事：1.英语一对一2.运动计划3.认真护肤习惯养成：调整状态周目标·完成进度英语七天打卡（5/7）轻课阅读（87/180）音标课（25/30）读书（福尔摩斯一章）学习·信息·阅读#英语课#Cookingte
【华为OD技术面试真题精选 - 非技术题】 -HR面，综合面_华为od hr面一个射手座的程序媛程序员华为od 面试职场和发展
最后的话最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！资料预览给大家整理的视频资料：给大家整理的电子书资料：如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以点击这里获
教育用心灵温暖心灵
@陈春丽长期学习班冯倩。今天一早就听到说高职合并，取消中专教育的教育信息。感觉是虽然知道，再听还是吓一跳。国家重视职业教育为何还要取消中专技术学校的教育？再听高中就要进行技术教育了，一部分人学习好继续努力学习考大学，一部分人在高中就可以进行职业教育接受职业教育了还要中专技术教育学校干什么呢！a有些职业教育学校转型升级快，不是孩子上完给找工作，而是学校帮孩子创业，我觉得是不错的方向！新闻新你得实时更
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
学习“论语”-第59天春峰轩
12.14子张问政。子曰：“居之无倦，行之以忠。”子张问为政之道。孔子说：“在位尽职不懈怠，执行政令要忠诚。”12.15子曰：“博学于文，约之以礼，亦可以弗畔矣夫！”孔子说：“君子广泛地学习文献，并且用礼节约束自己，也就不会离经叛道了。”12.16子曰：“君子成人之美，不成人之恶。小人反是。”孔子说：“君子成全别人的好事，而不助长别人的坏处。小人则与此相反行事。”知识点:“成人之美，不成人之恶”贯
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
2019-01-19 王小康KK
姓名:王康公司:扬州市方圆建筑工程有限公司2018年3月16日～3月18日上海361期《六项精进》感谢二组学员【日精进打卡第307天】【知～学习】《六项精进》大纲3遍共862遍《大学》通篇3遍共860遍《六项精进》全书40页【经典名句】思想决定行为，行为决定习惯，习惯决定性格，性格决定命运。【行～实践】一、修身：（对自己个人）1、践行六项精进的理念。二、齐家：（对家庭和家人）1、和女朋友视频聊天。
jvm调优总结（从基本概念到深度优化） oloz java jvm jdk 虚拟机应用服务器
JVM参数详解：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。
【Scala十六】Scala核心十：柯里化函数 bit1129 scala
本篇文章重点说明什么是函数柯里化，这个语法现象的背后动机是什么，有什么样的应用场景，以及与部分应用函数(Partial Applied Function)之间的联系 1. 什么是柯里化函数 A way to write functions with multiple parameter lists. For instance def f(x: Int)(y: Int) is a
HashMap dalan_123 java
HashMap在java中对很多人来说都是熟的；基于hash表的map接口的非同步实现。允许使用null和null键；同时不能保证元素的顺序；也就是从来都不保证其中的元素的顺序恒久不变。 1、数据结构在java中，最基本的数据结构无外乎：数组和引用（指针），所有的数据结构都可以用这两个来构造，HashMap也不例外，归根到底HashMap就是一个链表散列的数据
Java Swing如何实时刷新JTextArea，以显示刚才加append的内容周凡杨 java 更新 swing JTextArea
在代码中执行完textArea.append("message")后，如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新，我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。问题是这个方法并不能有任何效果，textArea的内容没有任何变化，这或许是swing的一个bug，有一个笨拙的办法可以实现
servlet或struts的Action处理ajax请求 g21121 servlet
其实处理ajax的请求非常简单，直接看代码就行了： //如果用的是struts //HttpServletResponse response = ServletActionContext.getResponse(); // 设置输出为文字流 response.setContentType("text/plain"); // 设置字符集 res
FineReport的公式编辑框的语法简介老A不折腾 finereport 公式总结
FINEREPORT用到公式的地方非常多，单元格（以=开头的便被解析为公式），条件显示，数据字典，报表填报属性值定义，图表标题，轴定义，页眉页脚，甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。简单的说下自己感觉的公式要注意的几个地方： 1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3)
linux mysql 数据库乱码的解决办法墙头上一根草 linux mysql 数据库乱码
linux 上mysql数据库区分大小写的配置 lower_case_table_names=1 1-不区分大小写 0-区分大小写修改/etc/my.cnf 具体的修改内容如下: [client] default-character-set=utf8 [mysqld] datadir=/var/lib/mysql socket=/va
我的spring学习笔记6-ApplicationContext实例化的参数兼容思想 aijuans Spring 3
ApplicationContext能读取多个Bean定义文件，方法是： ApplicationContext appContext = new ClassPathXmlApplicationContext（ new String[]｛“bean-config1.xml”，“bean-config2.xml”，“bean-config3.xml”，“bean-config4.xml
mysql 基准测试之sysbench annan211 基准测试 mysql基准测试 MySQL测试 sysbench
1 执行如下命令，安装sysbench-0.5： tar xzvf sysbench-0.5.tar.gz cd sysbench-0.5 chmod +x autogen.sh ./autogen.sh ./configure --with-mysql --with-mysql-includes=/usr/local/mysql
sql的复杂查询使用案列与技巧百合不是茶 oracle sql 函数数据分页合并查询
本片博客使用的数据库表是oracle中的scott用户表; ------------------- 自然连接查询查询 smith 的上司(两种方法) &
深入学习Thread类 bijian1013 java thread 多线程 java多线程
一．线程的名字下面来看一下Thread类的name属性，它的类型是String。它其实就是线程的名字。在Thread类中，有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。同时，Thr
JSON串转换成Map以及如何转换到对应的数据类型 bijian1013 java fastjson net.sf.json
在实际开发中，难免会碰到JSON串转换成Map的情况，下面来看看这方面的实例。另外，由于fastjson只支持JDK1.5及以上版本，因此在JDK1.4的项目中可以采用net.sf.json来处理。一.fastjson实例 JsonUtil.java package com.study; impor
【RPC框架HttpInvoker一】HttpInvoker：Spring自带RPC框架 bit1129 spring
HttpInvoker是Spring原生的RPC调用框架，HttpInvoker同Burlap和Hessian一样，提供了一致的服务Exporter以及客户端的服务代理工厂Bean，这篇文章主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成在【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析 bit1129 Mahout
#!/bin/bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information re
nginx三种获取用户真实ip的方法 ronin47
随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>，如果是后端真实服务器是nginx，那么继续往下看。实例环境：用户IP 120.22.11.11
java-判断二叉树是不是平衡 bylijinnan java
参考了 http://zhedahht.blog.163.com/blog/static/25411174201142733927831/ 但是用java来实现有一个问题。由于Java无法像C那样“传递参数的地址，函数返回时能得到参数的值”，唯有新建一个辅助类：AuxClass import ljn.help.*; public class BalancedBTree {
BeanUtils.copyProperties VS PropertyUtils.copyProperties 诸葛不亮 PropertyUtils BeanUtils
BeanUtils.copyProperties VS PropertyUtils.copyProperties 作为两个bean属性copy的工具类，他们被广泛使用，同时也很容易误用，给人造成困然；比如：昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时，没有考虑到会将null转换为0，而后面的业
[金融与信息安全]最简单的数据结构最安全 comsci 数据结构
现在最流行的数据库的数据存储文件都具有复杂的文件头格式，用操作系统的记事本软件是无法正常浏览的，这样的情况会有什么问题呢？从信息安全的角度来看，如果我们数据库系统仅仅把这种格式的数据文件做异地备份，如果相同版本的所有数据库管理系统都同时被攻击，那么
vi区段删除 Cwind linux vi 区段删除
区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。 vi概述引文中并未将末行模式单独列为一种模式。单不单列并不重要，能区分命令模式与末行模式即可。 vi区段删除步骤： 1. 在末行模式下使用:set nu显示行号非必须，随光标移动vi右下角也会显示行号，能够正确找到并记录删除开始行
清除tomcat缓存的方法总结 dashuaifu tomcat 缓存
用tomcat容器，大家可能会发现这样的问题，修改jsp文件后，但用IE打开依然是以前的Jsp的页面。出现这种现象的原因主要是tomcat缓存的原因。解决办法如下: 在jsp文件头加上 <meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
不要盲目的在项目中使用LESS CSS dcj3sjt126com Web less
　如果你还不知道LESS CSS是什么东西，可以看一下这篇文章，是我一朋友写给新人看的《CSS——LESS》　　不可否认，LESS CSS是个强大的工具，它弥补了css没有变量、无法运算等一些“先天缺陷”，但它似乎给我一种错觉，就是为了功能而实现功能。　　比如它的引用功能 ? .rounded_corners{
[入门]更上一层楼 dcj3sjt126com PHP yii2
更上一层楼通篇阅读完整个“入门”部分，你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能，例如通过 HTML 表单从用户那获取数据，从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。本章将介绍一些有助于更好使用 Yii 的资源：
Apache HttpClient使用详解 eksliang httpclient http协议
Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会
zxing二维码扫描功能 gundumw100 android zxing
经常要用到二维码扫描功能现给出示例代码 import com.google.zxing.WriterException; import com.zxing.activity.CaptureActivity; import com.zxing.encoding.EncodingHandler; import android.app.Activity; import an
纯HTML+CSS带说明的黄色导航菜单 ini html Web html5 css hovertree
HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航在线体验效果：http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果： <!DOCTYPE html > <html > <head> <title>HoverTree
fastjson初始化对性能的影响 kane_xie fastjson 序列化
之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。网上的说法： fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。
基于Mybatis封装的增删改查实现通用自动化sql mengqingyu DAO
1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml，有效的提高开发速度。 2.支持自定义注解包括主键生成、列重复验证、列名、表名等 3.支持批量插入、批量更新、批量删除 <bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
js控制input输入框的方法封装(数字，中文，字母，浮点数等) qifeifei javascript js
在项目开发的时候，经常有一些输入框，控制输入的格式，而不是等输入好了再去检查格式，格式错了就报错，体验不好。 /** 数字，中文，字母,浮点数(+/-/.) 类型输入限制，只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注：floating属性只能单独用*/ funct
java 计时器应用 tangqi609567707 java timer
mport java.util.TimerTask; import java.util.Calendar; public class MyTask extends TimerTask { private static final int
erlang输出调用栈信息 wudixiaotie erlang
在erlang otp的开发中，如果调用第三方的应用，会有有些错误会不打印栈信息，因为有可能第三方应用会catch然后输出自己的错误信息，所以对排查bug有很大的阻碍，这样就要求我们自己打印调用的栈信息。用这个函数：erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。也可以用这个函数：erlang:get_s

面向预测的时空数据学习方法分析

第3章面向时空网格数据预测的三维卷积神经网络模型

简述深度时空三维卷积神经网络模型

2个组件

近期依赖组件（过去几天）

周周期依赖组件(过去几周)

融合层

第4章面向时空图数据预测的时空注意力图神经网络模型

简介

问题定义

基于注意力机制的时空图卷积神经网络

时空注意力模块

时空图卷积模块

ASTGCN与ASTGNN的区别

基于编码解码架构的时空注意力图神经网络

时间趋势感知多头自注意力

空间动态图卷积

周期性

位置编码

第5章面向时空事件发生位置预测的深度生成模型

问题定义

模型整体结构

时空异质网络嵌入

时空图的构造

元路径

节点表示学习

历史时空事件编码

连续时间嵌入

层次式空间感知编码器

模型推断

第6章面向时空事件发生时间预测的深度生成模型

问题定义

模型整体结构

模型推断

总结

你可能感兴趣的:(论文,学习)