【个人笔记】2020-8-21-中午

[x] 1. calculate gt modularity
[x] 2. train and evaluate basic results
Problem occur:

1. 初始对一个句子生产的embedding，计算出来的距离都类似（L2 normalized过的）
2. modularity也非常相近，modularity和gt-modularity在1e-3这个量级上。
3. 导致loss很小，在1e-6这个量级。margin也很小，导致没法训练了
4. 训练真的是非常的慢
   8-21-14:40
   修改： 把L2 normalize这个限制去除了。
   Loss从0.0475弹射起步，50个batch左右会逐步降低至0.01。但是modularity也会变为0.01左右，不太确定这是不是好消息。
   100个batch之后， modularity稳定在0.01以下了，很多时候还在0.005以下。
   loss也基本稳定在0.01以下。
   设置了100个batch之后evaluate一次查看结果。
   Val Set:
   B3 Precision(%);B3 Recall(%);B3 F1(%); B3 F05(%)
   7.91049746173387 ; 13.582499999999998 ; 9.998077928896995 ; 8.631384400490873
   Test Set:
   B3 Precision(%);B3 Recall(%);B3 F1(%); B3 F05(%)
   7.272076757967666 ; 16.44499999999997 ; 10.08465786110024 ; 8.185208935332208
   出了很大的问题。训练并没有很大的作用。
   加上margin就非常的小了