基于知识图谱和图卷积神经网络的应用和开发

本文只是对 《京东 基于知识图谱和图卷积神经网络的应用和开发》的视频的笔记整理。

一 深度学习CNN

深度学习的特点:

  • 权重分配 :权重矩阵,调参
  • 层级结构:每一层训练结果依赖上一层
  • 欧几里得空间数据:多维坐标去体现所在位置

1.1 图结构数据

现实中有大量数据是由非欧几里得结构。

  • 社交网络
  • 科学网络
  • 通讯网络
  • 多用户系统

传统的深度学习平台无法完整这类学习(CNNs和RNNs),这类数据无法通过一维,二维和三维的欧几里得结构表达。

基于知识图谱和图卷积神经网络的应用和开发_第1张图片

 例如一个过滤器:第一层9个实体的权重和凝聚成  第二层一个节点的值。

二 图卷积背景和基本框架

2.1 图卷积基本框架

备注:  G(A ,H)

  • 邻接矩阵:A\epsilon R^{N\ast N}
  • 特征矩阵:H\epsilon R^{N*F}  将一个实体看成一个节点,实体具有的属性表示F(例如:鞋子:红色,35码)
  • 基于知识图谱和图卷积神经网络的应用和开发_第2张图片

关键:在节点和社区间进行信息传递

图讲解:输入一个邻接矩阵,特征矩阵点乘到每个节点进行训练,每次居于上一层训练(更新特征矩阵),然后分类,最后进行。

2.2 图卷积  GCN

图卷积网络的本质就是提取图结构的空间特征。图神经网络之GCN原理、示例及代码实现 - 知乎

基于知识图谱和图卷积神经网络的应用和开发_第3张图片

图卷积和卷积神经网络的区别是:添加了相邻节点的因素,例如上图画圈的中心点的信息更新,只跟相连的4个点有关,这个根据第一个公式红色部分表示的。

\widetilde{A}代表邻接矩阵

H^{(l)}特征矩阵

W^{(l)}权重矩阵

H^{(l+1)}=\sigma (\widetilde{A}H^{(l)}W^{(l)}) 三个矩阵进行点乘,更新到下一个特征矩阵

上面这个公式存在的问题

  1. 邻接矩阵一般自己的点不存在自环,所以矩阵的对角点一般都是0,所以自己的信息没有考虑进去。
  2. A没有进行归一化,度(相连的边)越大具有更大的特征值,会影响特征提取和模型收敛。

\widetilde{D}是度矩阵

\widetilde{D}-\widetilde{A} 度矩阵-邻接矩阵,解决对角线的问题  拉普拉斯矩阵(Laplacian matrix)及其变体详解-CSDN博客

归一化主要目的:把特征值均匀化,不想让差距特别大的影响特征提取。

H^{(l+1)}=\sigma (\widetilde{D}^{-\frac{1}{2}}(\widetilde{D}-\widetilde{A})\widetilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)})  这个公式最后的结果是一个对称矩阵,并且每一行的和是1

H^{(l+1)}=\sigma (\widetilde{D}^{-1}(\widetilde{D}-\widetilde{A})H^{(l)}W^{(l)})

2.2.1 图卷积的演示

下面是对H^{(l+1)}=\sigma (\widetilde{D}^{-\frac{1}{2}}(\widetilde{D}-\widetilde{A})\widetilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)})的一个演示。

基于知识图谱和图卷积神经网络的应用和开发_第4张图片

上图中的H_{0} 和 W(权重不是特别特别重要)是视频作者随机生成的,至于最后的结果,我没太明白为什么1、2、4、5是一类,3和6是一类。

核心的创新:A,H

收敛求内积

2.2.2 图卷积:边信息嵌入

点转成边,边转成点的复杂度高,目前只适用于小部分数据。

2.2.3 半监督图分类

3层GCN模型

例1:

例2:

输入:节点:论文题目

        边:引用的论文(有向图)

半监督:有些分类是我不知道的。全监督:知道所有的分类

图结构数据上的机器学习任务

  • 节点预测:预测节点的类别或某类属性的取值   

                例子:对是否是潜在客户分类、对游戏玩家的消费能力做预测

  • 边预测:预测两个节点间是否存在链接 

                例子:Knowledge graph completion、好友推荐、商品推荐

  • 图的预测:对不同的图进行分类或预测图的属性

                例子:分子属性预测

  • 节点聚类:检测节点是否形成一个社区 

                   例子:社交圈检测

  • 其他任务 
    1. 图生成:例如药物发现 
    2. 图演变:例如物理模 ……

原文链接:https://blog.csdn.net/qq_35812205/article/details/117969648

学习的是特征矩阵。

图创新

积分重做

层数取决于训练的结果。

半监督学习图神经网络节点分类实践 - xine - 博客园 (cnblogs.com)

三 基于知识图谱的图卷积

知识图谱G(A,X)

节点:每个实体

边:实体间的关系

特征:实体的性质

数据:

用户:U={ u_{1},u_{2},...}

实体:V={ v_{1},v_{2},...}

y_{uv}=1  用户u与实体v有联系

关系:R={ r_{1},r_{2},...}

特征:H矩阵

图卷积: H^{(l+1)}=\sigma (\bar{D_{u}}^{-\frac{1}{2}}\bar{A_{u}}\bar{D_{u}}^{-\frac{1}{2}}H^{(l)}W^{(l)}),l=0,1,2,...,L-1.

标签顺滑Label smoothness

例如:判断一张图是不是猫,结果是0或者1。我们将0、1这个值改成0.1跟0.9效果往往会更好。

总结就是对于机器学习的结果不要非常肯定,因为他可能错。所以在判断值的时候不要给得非常绝对。

                                                 

四 研究方向

五 总结

你可能感兴趣的:(知识图谱,cnn,人工智能)