《Attributed Social Network Embedding》论文学习笔记

一、研究背景

        本文提出了一种网络表示学习算法:将结构信息和属性信息同时输入深度神经网络,实现非线性特征抽象,相对传统的浅层神经网络语言模型,有较大性能提升。同时作者提出了离散属性信息的处理方式,是本文的贡献之一。
        多源信息融合的表示方法主要有以下几种:一、分别建立表示模型,简单拼接作为最终表示向量;二是训练过程中建立联合优化目标函数,实现线性融合;第三种就是作者提到的共同输入深层模型进行特征提取,实现非线性融合。

二、算法细节

        先贴模型框架,便于解释:
《Attributed Social Network Embedding》论文学习笔记_第1张图片
图1,模型框架

2.1结构信息输入

        输入是节点的one-hot表示,(我觉得这个地方是否换成邻接矩阵更好?)
        仍然采用node2vec算法思路产生context。定义节点对之间的条件概率如下:
 
       则全局优化函数定义如下:
 
       其中M表示节点数量。Ni表示邻居集合。
       这里值得注意的是传统的 计算方式都是直接计算两个嵌入向量的点乘,然而文献[ ]指出这种方式限制了模型的表示能力并且造成了排序损失(ranking loss)。
       作者采用了一个深度模型为节点间的相似性建模:
 
       这里将节点 的表示向量通过一个n层神经网络进行抽象后再与节点 作为邻居的表示向量相乘。

2.2属性信息输入

       这里作者考虑了不同类型的属性信息:离散-one-hot;文本-TF-IDF
《Attributed Social Network Embedding》论文学习笔记_第2张图片

       如图所示,我们对离散属性进行one-hot编码,对连续属性进行比如文档采用TF-IDF进行编码,得到初步表示向量

       而后,记特征向量 (加粗向量)有K个特征, 加粗表示 矩阵中的第 列向量,则抽象的属性信息向量表示为: ,这里注意加粗 ,表示向量的线性累加求和。

      这里对应到整体模型结构如何实现,我们进一步分析代码。。

      从这里我们可以看出第一层抽象的实现:

      对应于ID的one-hot编码,lookup查表的方式生成了一个低维的向量表示。

      用embedding_lookup做id类特征embedding由google的deep&wide提出,但隐藏了具体实现细节。

      参考网址:

      https://www.zhihu.com/question/48107602

      对于属性向量,这里直接和满足正态分布随机初始化矩阵相乘。

2.3模型框架描述

       创新点1:初期的结构属性向量结合,使得训练过程中能够使得相互关系包含在其中。

       创新点2:对初期的输入向量做了抽象表示

      Embedding层:这一层主要实现了输入向量到嵌入向量的转化,使用的方式是矩阵乘法?还待考究其原理。如何构造?神经网络?矩阵运算?

     分析源码发现这一部分的实现就简单的使用了单个神经元模型。

     下面的代码给出了优化函数:

 

      Hidden层:这里是一个多层感知机,实现嵌入向量的高层非线性抽象,这里为实现组成抽象低维化,每一层维数为前一层的一半。

      Output层:这里将节点i的隐藏层输出向量转化为条件概率的拼接表示。

      这里主要是通过前面定义的 计算如下:

      算法的最终向量表示:

     作者采用 的形式。

三、实验

3.1试验数据集

朋友关系数据集:身份、性别、主修、辅修、高中学校、入学年份

OKLAHOMA

UNC

引文网络数据集:标题内容的抽取

DBLP

CITESEER

 

 


3.2评测方法

网络表示学习算法的常用评测任务:节点分类和链路预测链路预测:映节点表示向量重构网络结构能力

使用10%测试集,10%做验证集训练超参数,80%用于训练

使用ROC曲线下方面积AUC指标作为评价指标

节点分类:反映表示向量是否有效保留可供下游应用充分利用的信息

使用LIBLINEAR工具进行有监督的节点分类实验,macf1/micf1指标

3.3实验结果

《Attributed Social Network Embedding》论文学习笔记_第3张图片

四、下一步研究

       Ø  改进SNE算法使得其融合多模态数据:图像等

       Ø  提出SNE的监督或者半监督的变体算法,使其适用于特定任务

       Ø  研究动态网络的表示学习问题,利用时间感知的循环神经网络等

      Ø  研究提高SNE算法效率的方式,使其适用于大规模产业应用,如使用哈希技术等

      这是作者给的研究方向,我认为在2.3两点的研究价值更为可观。




你可能感兴趣的:(网络表示学习,信息网络,深度神经网络)