【个人笔记】2020-8-23 Mid

2020-8-23

昨天训练至今日的结果

Size Precision Recall F1 Step
4*20 22.02 71.31 33.65 48700
4*40 18.33 73.69 29.36 24600
8*20 21.58 68.91 32.87 22200
8*40 15.38 62.73 24.70 5000
16*20 13.52 73.48 22.84 4200
16*40 6.59 52.83 11.71 600
4*10 (8-22 add, lr=1e-3) 19.69 61.92 2987 36300
  1. Loss从昨天的0.004左右,下降到今天的0.002,甚至更低。模型在接近5个epoch(5w个batch)的时候达到最佳(之后一直到第10w个batch, validation上的结果都没有更新了)
  2. Embedding大小没有太大的变化了
  3. 模块度这里,ground truth的模块度是0.001左右,Louvain的模块度,昨天是在1e-4的范围,今天是在2e-3左右。
  4. 昨天新增加的4*10,lr=1e-3,训练非常的快,一个epoch一个小时,结果有F1 27, 但是最好的结果也就是在36300个batch的时候, F1在29.87,然后就感觉训练得不能够再好了。之后筛选validation上,还导致test集合的结果降低了。

你可能感兴趣的:(【个人笔记】2020-8-23 Mid)