【实验记录】2020-8-25 中午

2020-8-25

统计了昨天rsn的结果，是在36， 37左右，观测了一下其实loss这些还有继续下降的空间。因为预测概率一直是在0.60-0.80这个样子。我直接load之前最好的结果，开了100个epoch，每个epoch10000个batch。这样去训练

现在分析，预测概率或者说之前的metric learning为什么差别不大，很有可能有这两个原因

1. 就是训练的不够，这就继续开着训练就可以
2. batch sample的时候，关系类别比较少，每一个关系的数量又还是足够的，也许所有的模型全部都归类到一个类别里面，modularity也还是不错的。因此可以需要调整关系的数量，这样可以让modularity足够的变化。

我觉得margin $\gamma$ 可以进行公式的修正，因为我们知道标准答案的louvain集合的应该有的modularity，然后通过公式计算现在 encoding能力下，louvain结果 的 gt modularity. 这二者的差值应该可以进行操作。

基本满足这些条件：

1. 如果 gt louvain modularity非常的低，或者说与golden modularity相差非常之远，$\gamma$ 应该为非常非常的小。 这样才可以满足训练的条件
2. 如果$Q(C^{\ast })$的modularity和golden 的modularity比较接近了，说明encoding能力比较ok了。$\gamma$ 可以稍微大一些。

如果这个$\delta$是被加上的，那么可以$\gamma =Q(golden)-Q(C^{\ast })$

当这二者越接近，就越不用优化。

好， 推导了一个小时的公式，决定了新的思路。暂时不在这个margin上进行处理。而是通过对$Q(C)$进行处理。稍微处理一下当他们在gt中的情况时，我感觉情况就会焕然一新。哈哈，对自己非常满意。抽空和远哥讨论一下。

所以现在

• End to End的TODO有：

  1. 修改公式，使得$Q(C)$不会与$Q(C^{\ast })$进行冲突。

  2. 使用RSN的预训练的模型，进行训练，看结果如何。

• Unified的TODO有：

  1. 实现基本框架

今天七夕节，实验室直接一半的人都没来了。我佛了。