以下内容纯属个人见解，欢迎大家交流。
发布于2019 ICDE

1 motivation

1.1 问题

在线健康社区，如在线乳腺癌论坛，使患者(即用户)能够在各分论坛内相互交流和帮助，这些分论坛是主要论坛专门讨论特定健康主题的分论坛。用户在不同分论坛活动的变化性质可以成为其健康状况变化的有力指标。这些额外的信息可以使保健组织迅速作出反应，并为病人提供额外的帮助。然而，对单个用户在不同子论坛之间的活动的复杂过渡进行建模，并了解这些活动如何与他/她的健康阶段相对应，是极具挑战性的。

1.2 解决方法

我们提出的DynGraph2Seq模型由一个新的动态图编码器和一个可解释的序列解码器组成，该解码器学习一组随时间变化的用户活动图和一组目标健康阶段之间的映射关系。我们继续提出动态图层次注意机制，以促进必要的多层次可解释性。对其用于健康阶段预测任务的综合实验分析证明了所提模型的有效性和可解释性。

2 相关内容

乳腺癌社区等在线医疗论坛和社区极大地改变了患者寻求健康相关信息的方式，已成为患者生活的重要组成部分。在网上论坛中，患者之间的交流和互动可以提供关于患者的情绪健康和与健康管理相关的行为的有价值的信息，这是传统的从医院信息系统和电子健康记录(EHR)收集的临床数据无法获得的。
然而，在线健康社区的健康阶段信息存在一些独特的挑战和特点。首先，尽管一些患者分享了他们的病史，但对于许多其他患者来说，这类信息没有提供，或者只是缺失了。例如，在最近2年内注册的超过36%的活跃用户还没有在乳腺癌社区分享他们的病史。第二，特定主题下的不同子论坛往往与特定的疾病阶段相关。例如，在在线乳腺癌论坛上，活跃在“化疗-之前、期间和之后”分论坛的患者通常会寻找与他们的化疗相关的信息。第三，随着患者健康状况的发展，他们经常从一组子论坛转移到与他们的新健康阶段更相关的其他子论坛。因此，对于每个患者来说，这些子论坛之间的转换可以导致一个相互连接的子论坛活动网络，随着时间的推移而发展，这可能与患者的健康状况进展高度纠缠在一起。
准确推断用户缺少的健康阶段信息的能力是至关重要的，因为这可以使医疗保健组织通过为每个患者在其特定健康阶段定位最有价值的信息，从而更好地支持患者。为了推断丢失的用户健康阶段信息，需要准确地识别和建模用户论坛活动与其健康阶段历史之间的对应关系。自然地，网络化和时间演进的论坛活动数据可以被表述为随时间变化的用户活动转换图的动态序列。此外，目标用户运行状况阶段历史记录可以制定为一个需要推断的序列。因此，在不丧失通用性的情况下，这里提出了一个新的泛型任务，其目标是学习从图结构数据序列到目标序列的映射。本文将研究范围局限于在线健康论坛领域，重点研究基于在线健康论坛数据的健康阶段序列预测。
然而，由于以下挑战，捕捉用户活动网络的演化和相应用户健康阶段的变化之间的高层次映射可能非常困难:1)难以对论坛数据建模，因为论坛数据是动态的、网络化的和多属性的。用户在不同子论坛中的活动可以随时间动态地改变，这些活动转换可以自然地连接不同的子论坛。2)难于学习用户活动网络序列与相应健康阶段序列之间的关联。用户活动网络的序列包含复杂的图形结构信息，这些信息随时间动态地演化。在这种动态复杂数据和特定序列之间开发端到端的学习是非常困难的。3)健康阶段序列推理过程缺乏可解释性。用户活动网络序列具有两级层次结构，即节点(即分论坛)到网络级和网络到健康级。因此，一个主要的目标是将这个层次结构信息纳入可解释的健康阶段推断过程的发展。

3 模型介绍

3.1 User Forum Activities as a Dynamic Graph

model

一个活动转移网络自然地表述如下。用户活动首先被划分为一系列的时间窗口。然后，我们开始为每个子论坛制定一个节点，如果最活跃的论坛(基于访问时间或发布的帖子数量)从一个论坛切换到另一个论坛，就会出现从一个论坛到另一个论坛的过渡，在它们之间创建一个直接的“边”。每个节点(即子论坛)也记录论坛内的用户活动，构建活动转换网络。当然，这种时间有序的活动转移网络可以正式定义为动态图，也就是网络科学文献中的时间网络，它捕捉了图的复杂动态特征和时间演化特征。

3.2 Dynamic Graph Encoder

Graph2Seq模型采用了一种归纳节点嵌入算法，通过聚合k跳内节点局部前向和后向邻域的信息来生成双向节点嵌入。通过在动态图输入中的每个快照图上应用这样的图卷积，我们将这一思想扩展到动态图。具体来说，假设总跳数为k，则应用第一个图卷积层后，对快照图中第n个节点的隐表示计算如下:

同样，对于跳k，快照图中的第n个节点的隐藏表示可以通过从第k−1层计算的隐藏表示来计算。最后，通过k层卷积，将快照图中第n个节点的最终隐藏表示输出为:

为了获取端到端图学习的高层次图表示，将节点级嵌入聚合到图级嵌入，从而传递整个图的信息是必要的。为了实现这一点,我们采用max池操作,提出的基聚合函数,源节点嵌入 ,然后应用最大池方法为每个快照图element-wise 收益率序列的 graph-level表示。模型图动态变化和长期依赖整个步骤,我们利用长短时记忆(LSTM)网络作为图嵌入序列编码器学习整个动态图级嵌入。

3.3 Sequence Decoder with Dynamic Graph Hierarchical Attention

动态图编码器一旦获取快照图的序列并聚合节点嵌入，生成一组捕获整个动态图全局特征的图级嵌入序列，LSTM层将输出编码器的最终隐藏状态，以汇总所有图级嵌入。然后，在序列解码阶段，我们利用传统的序列解码器，并将解码器的初始细胞状态设为，对目标序列S进行解码。
然而，这种简单的序列解码器存在两个问题:1)序列解码器的有效性取决于动态图序列的长度;2)预测的用户健康阶段序列需要基于动态图序列在时间级和节点级上进行解释。有关模型的可解释性处理上述问题,我们提出一种新颖的动态图分层注意力机制,包括node-to-graph和graph-to-sequence关注能够提高节点的可解释性的嵌入聚合和捕捉用户在线论坛活动的层次结构随着时间的推移更有效。

Node-to-Graph Attention:
一旦计算出一个图的节点嵌入，通常使用平均或最大池操作，作为基本聚合函数来获得当前图的graph-level嵌入。尽管这在它们各自的设置中都能很好地工作，但在我们的例子中却不能正常工作，因为不是所有的节点嵌入对图的表示都有同样的贡献。例如，尽管患者可能在给定的时间内查看多个子论坛，但只有少数几个重要的子论坛将与患者的特定健康阶段相关。因此，识别这些重要的节点(子论坛)是至关重要的，它们对表示当前图表的嵌入贡献最大。受[33]的启发，我们采用前馈注意对节点嵌入进行聚合，形成图级嵌入。图4显示了如何计算快照图Gt的节点-图注意力的例子。对于给定的快照图，在步骤t，节点-图注意力如下:
Graph-to-Sequence Attention:
一旦获得每个快照图的图级嵌入，将整个图嵌入序列输入序列解码器，生成表征整个动态图信息序列的全局隐藏嵌入。按照传统的编码器解码器设置，将设置为序列解码器的初始隐藏状态，从中生成健康阶段的目标序列
虽然隐藏向量c理论上包含了生成目标序列所需的所有信息，但编码器的隐藏表示ot也包含了序列编码过程中那个时间步的快照图信息的有价值信息。为了奖励这样的快照图，我们利用注意机制，引入图序列级注意来衡量每个快照图与目标序列的重要性。具体来说，如下图所示，图到序列注意将动态图序列中每个图的隐藏状态序列作为解码器的额外输入。这迫使解码器同时考虑当前的隐藏状态和每个产生的单词和整个序列o之间的注意对齐。

DynGraph2Seq: Dynamic-Graph-to-Sequence Interpretable Learning for Health Stage Prediction in Onl...