【实验记录】2020-8-22

2020-8-22

昨天训练至今日的结果

Size Precision Recall F1 Step
4*20 16.63 66.89 26.65 11900
4*40 12.54 67.03 21.13 7500
8*20 13.02 72.30 22.07 8400
8*40 9.79 78.31 17.40 1700
16*20 10.12 56.33 17.16 1800
16*40 7.09 25.52 11.10 300
  1. Loss从昨天的0.005左右,下降到今天的0.004左右。接近15个小时下降了这个程度,其实loss还是可以下降,结果还是可以上升的。

  2. 昨天的最大距离的差值也是有波动的,昨天是在0- 0.1的范围内波动,今天的embedding还是有明显的大小区别了的,是从0-0.32。可以看出embedding确实还是有训练出一定的区别的

  3. 模块度这里,ground truth的模块度还是没有什么区别的,Louvain得到的结果的模块度是有了不错的提升,昨天是在1e-6的范围,今天是在1e-4的范围内了

现在可以得到的结论是这些:

  1. 所有现在在训练的模型,都太慢了,可以适当增加学习率,加快word embedding和整个模型的训练,再逐步的降低学习率,从而达到一个学习的效果。
  2. 训练size这里现在为止并没有测出任何效果,仅仅只是通过global step和F分数来印证了一下

下一步的想法,尽快的将Size调整至非常小的情况,然后通过快速的训练得出初步的结论。

4*10,lr=1e-3这样

你可能感兴趣的:(【实验记录】2020-8-22)