2019-12-16

原计划是先学习C++，但是没有找到C++比较好的课程，决定回家看书的，那么就先系统的学下Python吧，下面是廖雪峰Python课程和牛客网上面的一个免费视频教学：

https://www.liaoxuefeng.com/wiki/1016959663602400/1016959735620448

https://www.nowcoder.com/study/vod/205/2/1

---

今天看了一篇IEEE Access的一篇论文，Knowledge Graph Embedding With Interactive Guidance From Entity Descriptions，考虑了实体的描述信息。

描述信息举例

三元组都是从文本中抽取得到，因此三元组中实体的描述信息也很重要。本文提出考虑实体描述信息的一种迭代方法。首先通过实体的描述信息增强知识图谱的表示能力，其次集成知识图谱中实体的嵌入表示约束描述信息中相应单词的嵌入表示。其中，知识图谱的向量表示使用TransE；实体描述的信息通过Word2Vec将每个单词表示为向量，根据HIERARCHICAL BILSTM MAX POOLING ENCODER将词向量的集合进行编码。

两个阶段：1）Knowledge Constraint 2）Description Encoder

其中es为原三元组中实体的向量表示，ed为实体的描述信息，gh、gt为门控机制。

ed是u1，u2，u3三层的平均值，使用前一层的最终hidden和cell状态作为二三层的初始状态，h1....为网络的前后馈的值。

实体描述的信息通过Word2Vec将每个单词表示为向量w1, . . .wT，根据HIERARCHICAL BILSTM MAX POOLING ENCODER将词向量的集合进行编码获得h1, . . .ht（图的右半部分）。

思想架构

文章中提出要使描述信息wi与ei以及其邻居ej更加接近，采用欧式距离更新wi的嵌入表示。求解优化函数，将wi更新为

wi更新公式

表示和三元组实体接近

在训练过程中将更新后的wi带入网络中获得ed，采用门控机制，结合两种信息更新该实体的向量表示：

最终实体的表示

其损失函数和TransE相同，即：

损失函数

通过这篇论文发现结合实体的描述信息也是一个研究的方向，使用不同深度学习的方法将实体的描述信息进行表示，再通过不同的方法和表示学习模型进行结合，会获得不错的效果。迭代的思想可以用在各种领域，这篇文章考虑了描述信息的迭代，之前看的是和规则进行迭代，本质上其实是相似的。

---

把深度学习的报告搞定啦，用的一个学长的ppt改成实验报告，虽然吧写完了都是看不懂的状态，但是总算是糊弄过去啦！！！解决了困扰好久的问题。

这几天这种吃吃吃，都没有饿的感觉了...我不胖谁胖，还有一个月就能回家了！！！暖气暖气好想你们，吼吼吼~