基于神经网络的遥感图像分析及知识图谱应用

一、人工智能最新研究应用。

1. 遥感图像分类
随着遥感技术的飞速发展，获取大量高分辨率的遥感图像越来越容易，这些高质量的遥感图像在实际生产生活中有着广泛的应用，如精细农业、森林火灾检测、城市规划等。高分辨率遥感图像包含了非常丰富的地物纹理信息和空间语义信息，如何将大量的遥感图像进行准确分类是遥感图像解析的重要研究内容。
遥感图像场景分类方法根据特征提取的层次可分为低层特征处理和中层特征处理两大类方法。低层特征通常采用场景图像的颜色、方向梯度、密度特征、特征点、变换域的纹理等进行描述。这些低层特征不能很好地对中层语义进行描述，难以跨越低层到高层语义的鸿沟，泛化能力差。目前遥感图像分类算法主要集中于中层语义特征建模，如视觉词袋模型、空间金字塔匹配模型等方法。虽然这些方法能一定程度地缩小低层到高层语义的鸿沟，但其对图像深层特征的提取和场景的尺度变化缺乏有效的处理措施，难以在复杂场景分类中取得较高精度。
近年来随着深度学习的快速发展，以卷积神经网络为代表的深度神经网络在图像识别、自然语言处理等领域中取得了较好的结果，也有不少研究人员将其应用到遥感图像场景分类任务中。这些方法与传统机器学习方法相比有了很大提升，但针对遥感图像空间信息复杂，图像中关键物体小并且尺度变化大等问题，这些方法还不能够对遥感图像信息进行很好的描述。同时随着神经网络的加深，网络变得更加复杂和难以训练，导致分类准确率饱和甚至下降。
针对上述问题，提出一种改进的ResNet50网络模型，在残差块中引入分组卷积和可分离卷积，以减少网络的参数量和计算量，加速模型的收敛。同时在每一个大的卷积组后嵌入多尺度缩聚与激发模块(squeeze and excitation block , SE block)，将不同尺度的特征进行融合，提高通道间的依赖性，并以此进行模型训练，以验证本文方法对遥感图像的分类有效性。

2.相关工作

2.1残差神经网络
随着深度神经网络层数的不断增加，网络的学习能力越来越强，但相对的网络的收敛速度会减慢，梯度在传播过程中会消失，导致无法对前面网络层的权重进行有效调整。传统卷积神经网络，网络中除了第一层外，每一层的输入都来源于上一层的输出，而残差神经网络采用跳跃式结构，使得深度残差网络可以越过中间几层直接将参数传递给后面的层，降低了网络的复杂度，解决了深层次网络的退化问题，促进了网络性能的提升。
残差神经网络的网络结构如图1所示，该网络借鉴了高速网络的跨层连接思想。在图1所示的残差单元结构中，x为网络的输入，H(x)为最优解映射，F(x)代表残差项，直接把输入x传到输出作为初始结果，输出H(x)=F(x)+x,当F(x)=0时，H(x)=x，，即恒等于映射。残差神经网络的训练目标就是要使得残差项F(x)=H(x)-x的结果逼近于0。让网络学习F(x) = 0相比于更新该网络的参数来学习H(x)=x,更简单，该层学习F(x)=0的更新参数能够更快收敛。该种结构的残差网络与没有采用跳跃式结构的网络模型相比，其输入的数据更加清晰，能最大程度的保留数据的准确性。

图1 残差网络单元示意图
2.2分组卷积
分组卷积最早在AlexNet中出现，由于计算资源有限，通常将卷积操作分配给多个图形处理器(graphics processing unit , GPU)分别进行处理，最后将多个GPU的结果进行融合。分组卷积的原理如图2所示，假设输入尺寸为H×W×C卷积核的个数为N，大小为k×k，将输入特征图分为G个组，在图2中G=2，则每一组的输入特征图数量为C/G,每组的卷积核个数为N/G，每组卷积核只与其所对应组的输入进行卷积。
对于普通卷积来说，卷积核的总参数量为

分组卷积所对应的卷积核参数总量为

从计算结果可以看出，经过分组卷积可将总参数量降为原来的1/G，其用少量的参数量和计算量就能产生大量的特征图。

图2 分组卷积
2.3深度可分离卷积
深度可分离卷积分为深度卷积和逐点卷积两个过程，在进行卷积操作时将通道和空间区域分开考虑，对于不同的输入通道采取不同的卷积核进行卷积。深度卷积过程如图3所示，假设输入大小为H×W×C,C为通道数，在图3中C=3。假设卷积核个数为m，大小为k×k×l。则在深度卷积中，将输入分为了C组，每一组做k×k×l的卷积，每一个卷积核只提取其所在通道的空间特征。

图3 深度卷积

逐点卷积的原理如图4所示，其将经过逐通道卷积后的特征做m个普通的1×1卷积，经过逐通道卷积核逐点卷积后的输出为H×W×m。

图4 逐点卷积
对于普通卷积来说，在相同参数设置的情况下输出H×W×C，其计算量为

深度卷积的计算量为

逐点卷积的计算量为

则深度可分离卷积相当于将普通卷积的计算量压缩为

从上述计算结果可以看出，深度可分离卷积相比于普通卷积，在深度一样的情况下大大减少了模型的计算量。
2.4 SENet网络结构
SENet是一种轻量级的网络结构，它通过对特征通道间的依赖关系进行建模来获取每个特征通道的重要程度，然后依照这个重要程度提升有用的特征通道并抑制对当前任务不重要的特征。SENet对输入特征进行Squeeze和Excitation两个重要的操作，通过Squeeze操作对输入的每个通道进行全局平均池化得到通道描述子，Excitation操作利用两层全连层为每个通道生成权重，最后将Excitation的输出权重与先前特征进行重新加权，完成在通道维度上对原始特征的校准。

3.网络结构设计

3.1改进残差神经元
残差神经网络由多个bottleneck block残差块和convolution block残差块堆叠构成。bottleneck残差块的主路径包含三个卷积层，第一部分1×1的卷积核用于减少特征通道的数量;第二部分3×3的卷积核用于进行特征的提取，同时减少了参数的数量;第三部分的1×1卷积核可以保证输出通道数等于输入通道数，在保证数据可靠性的同时增加了网络的深度，可以对数据进行充分的提取，进而提高模型的性能。同时残差块中引入了BN( batch normalization)算法，加快了网络的收敛。convlution残差块结构与bottleneck残差块结构相似，区别之处在于其分支上增加了一个1×1的卷积层，用于调整输入特征的尺寸。
对残差神经单元进行了改进，改进后的bottleneck block和convolution block结构分别如图5、图6所示。

图5 改进后bottleneck block结构(SGBB)

图6 改进后convolution block结构(SGCB)
bottleneck block中第一部分和第二部分的普通卷积替换为深度可分离卷积，第三部分普通卷积替换为分组数为2的分组卷积。convolution block中的第一部分保持不变，第二部分卷积采用深度可分离卷积，第三部分卷积采用分组数为2的分组卷积，分支上的卷积保持不变。改进后的残差块大大减少了整个网络的参数量和计算量，加快了网络的收敛，在通道数不变的情况下加强了模型的特征提取能力。
3.2多尺度SE block
在常规SE block中的全局平均池化前先对输入分别做1×1和3×3的卷积，将两组卷积结果相连接，再进行Squeeze和Excitation操作。其结构如图7所示。多尺度SE block有效地将不同尺度的特征进行融合，通过全连层和非线性激活层得到多尺度特征图的权重，然后将学习得到的权重与输入特征图相乘，通过对通道特征的重校准提升了有效特征的权重，增强了网络的特征表达能力，使得遥感图像场景分类精度得到提升。

图7 多尺度SE block(MSEB)
3.3改进ResNet50网络结构
采用ResNet50作为基础模型，其bottleneck block和convolution block分别使用上文所对应的改进结构，即SGBB和SGCB，本文中对网络的层数进行了调整，在conv3_x和conv4_x上分别去掉了1个和3个bottleneck block残差块，由于分组卷积和深度可分离卷积的引入，大大减少了网络的参数量和计算量，有利于加快模型的收敛。同时在每一个大的卷积组后嵌入多尺度SE模块(MSEB)，自动获取每个遥感图像特征通道的重要程度，有效增强有用特征，抑制用处不大的特征，进一步提升了网络的性能和泛化能力。改进后的网络结构如图8所示。

图8 本文网络结构

4.实验分析

4.1实验数据集
实验数据集1为航空图像数据集(aerial imagedataset, AID )，该数据集由华中科技大学与武汉大学联合制作并于2017年发布，其中包含机场、森林、学校等30类遥感场景图像，每类遥感图像的样本数量为200~420张不等，尺寸均为600×600像素，该数据集共计10000张图像。各类图像部分示例如图9所示。
实验数据集2为UCMerced_Land Use(UCMLU)数据集，选自美国地质调查局国家城市地图航空遥感图像，包含建筑、飞机、棒球场、海滩等21类遥感场景图像，每类包含100张大小为256×256像素的图像，该数据集共计2100副图像，空间分辨率为0.3 m，各类图像部分示例如图10所示。

图9 AID数据集部分场景图像

图10 UCMLU数据集部分场景图像
在以上两个数据集中，分别从每类遥感场景图像中随机选取80%的图像作为训练数据集，剩余20%的图像作为测试数据集。同时为了达到更好的测试效果，对两个数据集都采用在线数据增强的方式进行数据集扩充，增强方式包括随机旋转、随机缩放、随机裁剪、垂直变换等操作，并将所有图像尺寸统一为256×256像素大小。
4.2实验环境及参数设置
采用Adam优化器对模型进行优化训练，初始学习率设置为0.001，当测试集的损失值持续5个epoch不再下降时，将学习率调整为原来的0.1倍，学习率的最小值设置为0.000O1。更小的batch_size有助于增强模型的泛化能力，将batch_size设置为20，网络一共经过100个epoch进行充分训练，损失函数采用交叉嫡。
实验的环境为:Windows10操作系统，2.90 GHz Intel® Core™ i7-10700 CPU，内存为16 GB , GPU使用NVIDIA GeForce RTX 2070，显存为8 GB。神经网络训练使用keras框架。
4.3评价标准
采用总体分类精度,混淆矩阵和每秒浮点运算次数这三种评价指标对所提出方法的分类性能进行分析评估。总体分类精度指被正确分类的样本个数占总样本数的比值，能够很好地表征分类精度。混淆矩阵能更直观地展现每一类场景图像的分类准确率以及该类被错分为其他类的情况。计算量指浮点运算数，可以用来衡量模型的复杂度，精度越高，计算量越小，则网络的性能越好。所有分类准确率值均为5次独立重复实验结果的平均值。
4.4实验结果分析
4.4.1 AID数据集结果分析
为了分析本文改进残差神经单元和引入多尺度SE block对分类精度的影响，分别对传统CNN(ResNet50)、在残差结构引入分组卷积和可分离卷积的方法(SG_ResNet50)以及在SG_ResNet50基础上嵌入多尺度SE block的方法在AID数据集上进行了实验。三种方法平均分类精度随迭代次数的变化关系如图11所示。从图11中可以看出，使用未做任何改进的ResNet50做全训练的分类精度最低;对残差单元结构进行改进后，由于引进了分组卷积和可分离卷积，减少了网络的参数和计算量，改进后的模型SG_ResNet50比ResNet50准确率增长速度更快，模型更快收敛，并且分类准确率达到了90.42 %，高于ResNet50准确率1.88%;最后在SG_ResNet50的基础上嵌入多尺度SE block，分类精度有了进一步提升，达到了91.92%，说明多尺度SE block的引入有效地提升了模型性能。

图11 ResNet50、SG_ResNet50、本文模型分类精度对比
在测试集上进行5次独立重复试验平均分类准确率的混淆矩阵如图12所示，总体平均分类准确率为91.92%。由图12可以看出，30类场景图像中有22类的分类精度均高于90%，说明本文提出的方法对复杂场景图像具有较好的分类性能。同时从实验结果可以看出学校和广场的分类精度最低，分别只有78%和67%，其中学校容易被划分为工业区和密集住宅区，广场容易被划分为中心区域和公园，说明本文所提出的方法对存在二义性的场景图像分类性能还有待进一步提高。

图12 AID场景分类混淆矩阵
4.4.2 UCM数据集结果分析
为了进一步验证本文提出模型的有效性，在UCMLU数据集上进行了实验，21类场景图像分类结果如图13所示，总体平均分类精度达到了93.52%。由图13可以看图，大部分场景图像类别分类准确率在90%以上，其中农业、棒球场、海滩等九类场景图像的分类准确率达到了100%，可见该方法对纹理差异较小的场景类别分类准确率较高。

图13 UCMLU场景分类混淆矩阵
为了更加直观地分析每一类场景图像的分类效果，图14给出了每一类场景分类准确率柱状图。从图14中可以看出仍有部分类别场景图像分类准确率较低，如高速公路和立交桥，其分类准确率分别只有78%和84%。结合图13的混淆矩阵分析可知，高速公路分类准确率较低是因为其和十字路口以及立交桥的场景十分相似，易造成误分。此外，中等密度住宅区与密集住宅区地物信息高度相似，造成部分中等密集住宅区被错分为密集住宅区。

图14 UCMLU每类场景图像准确率柱状图

5.结论

针对遥感场景图像空间信息复杂、图像中关键物体小并且尺度变化大等问题，提出一种改进残差网络的场景图像分类方法。该方法以残差神经网络ResNet50为基础框架，在残差单元中引入分组卷积和可分离卷积，有效减少了网络的参数量和计算量。同时引入多尺度SE block模块，通过对多尺度特征的校准提升有效特征的权重，进一步提升了模型的性能。在AID和UCMerced_Land Use两个数据集上的分类精度分别达到了91.92%和93.52%,相比于常规的残差网络ResNet50分别提升了3.38%和10.24%，证明本文方法在遥感场景图像分类上的可行性和有效性。

二、知识图谱及其应用

1.面向知识图谱的知识推理
结合知识图谱的推荐系统依赖于知识图谱丰富的语义关系、灵活的语义内容、复杂的语义关联等特征有效解决了推荐领域存在的冷启动、推荐准确度低等问题。随着研究人员对基于知识图谱推荐系统的探索研究模型复杂度随着软硬件技术的发展逐步提升，推荐模型的效果也实现了逐步提升。但是目前的模型算法各有优缺，在实际应用中也是灵活选用。
1.1基于描述逻辑和概率逻辑的推理
在知识推理技术发展伊始，众多学者研究方向是将传统的推理方式移植到知识图谱当中，基于描述逻辑和概率逻辑的推理方法应运而生。传统推理方式虽然有着较高的准确率，但移植到图谱中仍存在困难。针对这些问题，专家学者开始对描述逻辑与概率逻辑进行改进，使其作为本体论的一种延伸，运用到知识推理当中。
1.1.1基于描述逻辑的推理
描述逻辑是一阶谓词逻辑的可判定子集，是知识图谱本体论的基础。与传统的知识表示学习相比，其最大的优势在于可以完成知识的自动推理。在描述逻辑之下又可划分为基于表结构的方法、基于产生式规则的方法以及基于本体数据访问的方法。基于描述逻辑的推理仍然属于本体推理方法中的一种，无法定义推理过程，仍存在解释性上的不足，同时仅支持本体公理上的推理，泛化能力较弱。
1.1.2基于概率逻辑的推理
基于概率逻辑的推理主要解决不确定性推理问题，这里面比较有代表性的是基于统计关系学习（SRL）的推理方法。统计关系学习是一种机器学习方法，通过拓展传统的图模型来对实体之间的相关性进行建模，几种比较典型的模型包括关系型贝叶斯网络模型、关系型马尔可夫网络模型和关系型依赖网络模型等。而基于SRL的知识推理方法则是将关系信息代入机器学习模型当中进行特征表示，再利用传统的学习算法进行分类，存在复杂度高、实用性不强等问题，因此常与其他种类方法联合使用以提升模型性能。
1.2基于图结构和统计规则挖掘的推理
虽然针对传统推理方法的改进在知识图谱中获得了一定的效果，但仍无法彻底解决其特有的图结构下特征挖掘问题。据此学者们开始研究基于图结构和统计规则挖掘的知识推理方法，其中比较有启蒙意义的是Lao等提出的路径排序算法(PRA)。在知识推理当中，PRA是一种基于图结构的全局算法，通过随机游走或遍历的方式获取实体之间的关系路径作为特征，计算样例的特征值并加入分类器进行训练，从而预测实体间潜在关系。此后，一些基于PRA的改进算法逐渐提出。
从图结构获得特征后，学者们思考利用传统关联规则挖掘方法来进行知识推理，以不完备知识库的关联规则挖掘算法(AMIE)为代表，其支持从不完备知识库中挖掘闭式规则。该算法依次通过添加悬挂边、实例边、闭合边的方式针对每种关系进行规则挖掘，并以支持度和置信度作为评估标准。
随着知识图谱规模的不断扩大，基于图结构和统计规则的推理方法面临复杂度提升、计算量增大等问题。目前的研究往往不单独考虑基于此的推理方法，常对基于该方法的混合推理进行研究。
1.3基于知识图谱表示学习的推理
基于知识图谱表示学习的方法往往先对知识图谱中的实体和关系进行特征表示，再利用表示后的结果进行知识推理。其随着知识图谱表示学习技术的不断进步而逐渐获得完善，目前成为常用方式之一知识表示中比较有代表性的是TransE方法，其旨在解决大规模知识图谱关系数据处理问题。该方法将每个三元组的关系看作头实体到尾实体的翻译过程，通过学习调整三者之间的向量关系，使头实体与关系之间的向量和尽可能接近尾实体的向量，从而完成对所有实体和关系的表示。虽然TransE原理简单易扩展，但仍然存在复杂关系建模效果差、无法利用知识库外部信息等缺陷。后续很多方法都是在TransE上的改进。
随着表示学习技术的逐步发展，基于表示学习的知识推理逐渐成为主流方式之一，然而其也存在先天劣势，由于基于表示学习的推理往往是一个“黑盒”模型，我们可以获得推理后的结果但并不清楚具体的推理过程，导致可解释性较弱。
1.4基于神经网络的推理
基于神经网络的推理方法一般指利用神经网络某些特性所进行的推理。例如预测三元组中的缺失元素，或是预测多跳路径下首尾两实体之间的关系等。就广义而言，部分基于图谱表示学习的方法也属于神经网络方法的一种，在此为区分清楚，不再继续对表示学习推理方法进行表述。
而且可以利用神经网络存储能力完成知识推理任务，例如Shen等提出的限N模型、Graves等提出的DNC模型等，这些模型主要是模拟人类思考的过程，将知识的存储和读取形象化展示从而完成快速推理过程。
基于神经网络的推理凭借其良好的特性在近些年取得了长足的进步，但仍存在解释性不足等问题，同时其往往聚焦于知识图谱单个层面的信息，不能全局考虑语义、路径等多种影响因素，泛化能力有待提升。
1.5混合推理
上述知识推理方法各自存在优势与天然缺陷，为了弥补单一类别推理方法的不足，众多学者开始考虑利用多种方法建模，混合推理方法逐渐被提出。
传统基于路径的方法往往需要大量数据获取路径特征，随着知识图谱规模的不断扩大，传统方法复杂度高，计算困难，但仍有较好的可解释性;基于神经网络/表示学习的推理方法具有良好的计算性能，但可解释性不足，多数混合推理逐渐将二者结合，形成多种多样的推理方法。
混合推理将不同类型的推理方法相结合，有效弥补了单一类型方法存在的缺陷，但建模过程往往比较复杂。随着科技领域的发展，算力瓶颈逐渐被打破，混合推理方法也逐渐成为目前主流方法之一，是众多学者的研究方向。
2.知识推理的应用
目前经知识推理后获得的更高质量的知识图谱可用于实体链接、智能问答、类型检测、推荐系统等多个知识图谱下游任务中，结合具体场景的推理任务包括但不限于冲突故障诊断、领域图谱构建、军事辅助决策、智能医学诊疗等。例如刘瑞宏等以电信领域知识图谱为对象，用知识推理技术对网络故障进行诊断;张春霞等通过知识推理技术实现课程类知识图谱的构建;张清辉等将知识推理技术运用到军事信息服务中，以获得战场中的信息优势;韦昌法等通过基于表示学习的推理技术探讨中医辨证发展、翟姗姗等提出基于知识图谱和病人画像的智能诊疗推荐系统等。
通过知识推理技术刚以对知识图借进行补全，同时也可以检测己存在的错误三元组，对知识图谱质量的提升有重要意义。
2.1实体链接
实体链接指将文本中提及的指称与知识库中的实体对应起来，大部分的方法针对的是开放域实体连接任务一般来说，实体链接与知识图谱是相互促进、相互关联的，通过实体链接我们可以查询知识库中对应的实体，通过知识图谱可以更好地完成实体链接任务。
实体链接分为候选实体生成和命名实体消歧两个步骤，候选实体生成旨在利用指称生成可能与之链接的候选实体集，主要有基于字典、基于人工标注、基于搜索引擎等方法。目前比较常用的实体消歧方法需要利用知识图谱中丰富的实体和关系信息，例如在知识图谱上利用图嵌入技术来进行消歧。该框架在不需要任何监督训练的情况下就能在数据集上提供最先进的准确性。正因如此，知识图谱的质量往往决定了实体链接的效率，通过知识推理任务提升知识图谱质量可更高效地完成实体链接任务。
2.2类型检测
实体类型检测指对实体属性进行推断，是知识图谱构建的基础任务之一传统依赖于人工的方法成本高，难以符合信息化时代的需求。目前比较简单的方法是利用一些规则在知识图谱中进行搜索，针对符合该规则的实体进行类型的推断。然而知识图谱的优劣、推理规则的好坏仍然成为制约模型的瓶颈之一。而将推理后的知识图谱作为先验知识加入到类型检测任务中、或是将知识推理技术进行改进使其具备类型/属性推理能力逐渐成为目前研究方向之一。
2.3智能问答
智能问答是自然语言处理领域基础任务之一，随着知识图谱的不断完善，智能问答可依赖的知识源也更加符合客观实际。知识图谱构建的初衷即是让知识可以更好地被用户搜索与查询，而过去的搜索引擎是静态的，通过对网页中存储好的信息进行搜索从而完成知识的展示，扩展能力不佳;利用基于知识图谱的知识推理技术可以动态完成知识的查询，使整个系统更加灵活。随着智能问答技术的发展，知识推理逐渐成为其内在驱动力之一，两者之间的融合创新将成为未来的研究热点。
2.4基于知识图谱的推荐系统
推荐系统被定义为一种自动化信息检索工具，它将用户和商品信息融合，从而为每名用户推荐其感兴趣的内容。近年来有学者提出可以将面向知识图谱的推理技术应用到推荐系统当中。
知识图谱是由节点和边组成的语义网络图，包含有丰富的语义知识，应用于推荐系统具有精准、多样和可解释的特点。如图15所示，根据用户1的观影特点，就可以借助用户2的观影数据进行推荐。知识图谱通过整合多源异构信息将丰富的实体关系利用复杂网络表进行表示，从而获得用户与项目之间的细粒度关系。基于知识图谱的推荐系统主要利用图谱内丰富的语义关系、项目链接等信息挖掘用户与项目之间的潜在关联，实现对用户的精准推荐。

图15 基于知识图谱的推荐示例
基于知识图谱的推荐系统一般包括知识图谱、推荐模块和连接模块三部分。其中知识图谱存储丰富的实体语义信息，推荐模块计算用户与项目之间的交互信息，并通过连接模块，将图谱中的语义信息映射成低维向量结合推荐模块计算实现项目的推荐功能。
2.4.1基于连接的推荐
基于连接的推荐主要利用知识图谱中实体之间的连接关系来计算节点相似性而实现推荐。
该方法将知识图谱视为一个异构信息网络，然后构建基于节点之间的路径规则进行匹配计算。该方法具有可解释、可速算的特点，但同时对于不同知识图谱的路径规则制定也有着不同的要求。
虽然基于连接的推荐系统实现了对知识图谱网络结构的利用，依赖实体连接关系完成了内容推荐，但是该方法严重依赖于图谱的连接模式，使用场景有限，在面对多领域实体的项目推荐（如新闻推荐）时有着明显的瓶颈。除此之外，基于连接的推荐在实际应用中需要手动设计元路径，不同图谱结构对元路径的依赖程度差异也导致了实践应用效果的折损。
2.4.2基于嵌入的推荐
相比基于连接的推荐，基于嵌入的推荐需要对图谱中的实体和关系进行一个低维向量的映射。该类模型主要由两个模块组成，即图嵌入模块和推荐模块。图嵌入模块实现对于知识图谱的特征学习，推荐模块对图嵌入模块学到的信息进行处理实现内容的个性化推荐。其中图嵌入模块根据特征学习模型又可以分为两类:基于距离的翻译模型和基于语义的匹配模型。
根据图嵌入模块与推荐模块之间的关系，可以将推荐系统分为依次学习、联合学习和交替学习三个类别。这三种类别根据推荐模块对嵌入模块向量表示的使用方式进行区分，依次学习首先学习图谱生成向量再引入到推荐系统进行计算;联合学习将图谱特征学习与推荐函数进行结合，实现端对端的联合学习;交替学习将嵌入模块与推荐模块设计成相关又分离的任务，使用多任务框架进行交替学习。

图16 基于知识图谱嵌入的推荐系统分类
Wang Hongwei等2018年提出了基于内容的结合知识图谱实现的新闻推荐模型——DKN。该模型将新闻标题词汇与图谱实体链接，为每个实体词汇搜索它的关联实体并通过一个多通道和一个单词-实体对齐的知识感知卷积神经网络（KCNN)得到一个新闻的Knowledge-aware向量表示。此外，模型中还包括一个注意力模块动态地聚合当前候选对象的用户历史记录，得到历史新闻对用户点击候选新闻的影响权重。最后将用户和候选新闻的嵌入向量表示做全连接，通过DNN得到用户最终点击该新闻的概率。
基于图嵌入的推荐系统为知识图谱中的每个实体和关系学习得到一个低维向量的同时保持了图中原有的结构或语义信息，有效解决了基于路径的推荐方法中依赖元路径设计、忽视语义关系的问题。但是该类模型在推荐中也损失了图谱中的多跳关系利用，导致部分推荐结果缺乏可解释性。知识图谱中涉及高阶关系的子图可看作非线性路径组合，对于更好地挖掘整个图谱语义关系与拓扑结构有着重要意义，探索如何实现实体间高阶关系的捕捉对于推荐系统的发展具有一定指导价值。
2.4.3 基于混合的推荐
虽然上述两种方法都利用知识图谱对推荐系统的应用进行了改进，但是对知识图谱充分利用存在一定局限性。其中基于连接的推荐关注知识图谱中项目之间的连接关系，基于嵌入的推荐主要学习图谱中的语义表示。部分研究人员开始尝试通过结合连接与嵌入的思想实现推荐∶首先在整个图谱上通过传播的方式获取用户的偏好，然后通过图嵌入对用户偏好进行特征学习，再利用推荐模块实现推荐。
基于混合的推荐包括三个经典模型:RippleNet, KGCN和KGAT及其衍生系列。
RippleNet模型2018年由Wang Hongwei等提出，该模型首先给定一个项目和一个用户，然后将项目经过嵌入转化的低维向量不断同用户周围的n跳项目转化向量进行交互计算，最后组成该用户的向量表示，再通过与给定项目转化向量计算获得用户点击概率从而完成推荐。计算公式如下:

该模型虽然通过混合的方法对于借助知识图谱实现的推荐取得了阶段性成果，但是同样存在忽视关系重要性、计算成本大和计算冗余的问题。一种结合知识图谱和图卷积神经网络的KGCN模型在更好地捕捉局部邻域信息和考虑邻居节点权重实现推荐领域得到重视。该模型首先需要设置节点多跳参数，将节点多跳范围内邻域作为感知野，然后将邻域节点在特定用户关系范围内的得分作为权重，并用加权结果表示邻域节点向量，进而完成项口向量表示。得到向量表示后同样利用用户向量与项口向量的内积搭配sigmoid函数计算点击概率完成推荐。
KGAT全称又叫"知识图谱注意力神经网络”，该模型在CKG嵌入层将用户―项目交互矩阵与知识图谱相结合，通过嵌入的方式得到图谱项目向量表示，然后在注意力嵌入传播层通过邻居的多跳节点递归传播向量实现项目表示增强，通过基于知识图谱的注意力机制计算关系权重，聚合信息后完成节点向量表示，最后在预测层通过向量计算并归一化得到用户点击概率并实现推荐。
基于混合的推荐结合前面两种推荐思想的优势，既实现了对于知识图谱网络结构中连接关系的利用，又通过嵌入的思想实现实体和关系的低维空间向量表示。基于混合的推荐模型利用低维向量的交互计算对实体间的多跳关系进行挖掘，实现实体间高阶语义关系基础上的推荐。基于混合的推荐模型相较基于连接的推荐和基于嵌入的推荐表现出更优评分的同时，也为研究者带来了更大的资源消耗和更复杂的参数调优问题。如何解决该类模型导致的复杂问题，实现复杂模型下高效、精准、多样的推荐值得进一步探索。
目前的推荐系统同样面临关系稀疏等缺陷，利用知识推理技术可以有效解决这类问题，为更高效准确的推荐打下基础。
三、参考文献
[1]刘春容,宁芊,雷印杰,陈炳才.改进残差神经网络在遥感图像分类中的应用[J].科学技术与工程,2021,21(31):13421-13429.
[2]朱冬亮,文奕,万子琛. 基于知识图谱的推荐系统研究综述[J]. 数据分析与知识发现,:1-16.
[3]封皓君,段立,张碧莹. 面向知识图谱的知识推理综述[J]. 计算机系统应用,2021,30(10):21-30.
[4]王改华，郭钊，周志刚，等.基于卷积神经网络的灾难场景图像分类[J].科学技术与工程，2021,21(17):7217-7223.
[5]张桐，郑恩让，沈钧戈，等.基于深度多分支特征融合网络的光学遥感场景分类[J].光子学报，2020,49(5):166-177.
[6]王雨萄，赵庆生，梁定康.基于深度学习网络的电气设备图像分类[J].科学技术与工程，2020,20(23):9491-9496.
[7] ADOMAVICIUS G,TUZHILIN A.Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions[J].IEEE Transactions on Knowledge and Data Engineering, 2005,17(6): 734-749.
[8] SUN F P, YU M,ZHANG X L, et al. A Vocabulary Recommendation System based on Knowledge Graph for Chinese Language Leanig[C]. In:2020 leee 20th International Conference on Advanced Learning Technologies. New York,USA; leee, 2020:210-212.
[9]常亮,张伟涛，古天龙, et al.知识图谱的推荐系统综述[J].智能系统学报,2019,14(2): 207-216.
[10]吕刚.基于知识图谱的个性化推荐系统研究与应用[D];哈尔滨︰哈尔滨师范大学，2020.
[11]刘昱良.基于知识图谱的个性化学习资源推荐研究[D];河南:河南师范大学,2018.