【个人笔记】2020-8-23 Mid

2020-8-23

昨天训练至今日的结果

Size	Precision	Recall	F1	Step
4*20	22.02	71.31	33.65	48700
4*40	18.33	73.69	29.36	24600
8*20	21.58	68.91	32.87	22200
8*40	15.38	62.73	24.70	5000
16*20	13.52	73.48	22.84	4200
16*40	6.59	52.83	11.71	600
4*10 (8-22 add, lr=1e-3)	19.69	61.92	2987	36300

1. Loss从昨天的0.004左右，下降到今天的0.002，甚至更低。模型在接近5个epoch（5w个batch）的时候达到最佳（之后一直到第10w个batch， validation上的结果都没有更新了）
2. Embedding大小没有太大的变化了
3. 模块度这里，ground truth的模块度是0.001左右，Louvain的模块度，昨天是在1e-4的范围，今天是在2e-3左右。
4. 昨天新增加的4*10，lr=1e-3，训练非常的快，一个epoch一个小时，结果有F1 27, 但是最好的结果也就是在36300个batch的时候， F1在29.87，然后就感觉训练得不能够再好了。之后筛选validation上，还导致test集合的结果降低了。