【实验记录】2020-8-22

2020-8-22

昨天训练至今日的结果

Size	Precision	Recall	F1	Step
4*20	16.63	66.89	26.65	11900
4*40	12.54	67.03	21.13	7500
8*20	13.02	72.30	22.07	8400
8*40	9.79	78.31	17.40	1700
16*20	10.12	56.33	17.16	1800
16*40	7.09	25.52	11.10	300

1. Loss从昨天的0.005左右，下降到今天的0.004左右。接近15个小时下降了这个程度，其实loss还是可以下降，结果还是可以上升的。

2. 昨天的最大距离的差值也是有波动的，昨天是在0- 0.1的范围内波动，今天的embedding还是有明显的大小区别了的，是从0-0.32。可以看出embedding确实还是有训练出一定的区别的

3. 模块度这里，ground truth的模块度还是没有什么区别的，Louvain得到的结果的模块度是有了不错的提升，昨天是在1e-6的范围，今天是在1e-4的范围内了

现在可以得到的结论是这些：

1. 所有现在在训练的模型，都太慢了，可以适当增加学习率，加快word embedding和整个模型的训练，再逐步的降低学习率，从而达到一个学习的效果。
2. 训练size这里现在为止并没有测出任何效果，仅仅只是通过global step和F分数来印证了一下

下一步的想法，尽快的将Size调整至非常小的情况，然后通过快速的训练得出初步的结论。

4*10，lr=1e-3这样