李宏毅hw1_covid19预测_代码研读+想办法降低validation的loss(Kaggle目前用不了)

1.考虑调整这个neural network的结构尝试让这个loss降低

(1)Linear(inputdim,64) - ReLU-Linear(64,1), loss=0.7174
(2)Linear(inputdim,64) - ReLU-Linear(64,64) -ReLU-Linear(64,1),loss = 0.6996

(3)李宏毅hw1_covid19预测_代码研读+想办法降低validation的loss(Kaggle目前用不了)_第1张图片这样设置的话,3个linear层中间夹着2个ReLU激活函数:

(4)2个Linear层中间夹着2个ReLU激活函数:

李宏毅hw1_covid19预测_代码研读+想办法降低validation的loss(Kaggle目前用不了)_第2张图片

(5)将2linear夹2ReLU中的w向量空间改为64:

李宏毅hw1_covid19预测_代码研读+想办法降低validation的loss(Kaggle目前用不了)_第3张图片

(6)要不要加到3层的L-ReLU-L-ReLU-L-ReLU-L:

李宏毅hw1_covid19预测_代码研读+想办法降低validation的loss(Kaggle目前用不了)_第4张图片

然而,效果并没有变好

2.下面考虑对上面的0.6996进一步优化,考虑从hypeparame 那里入手:

(1)初始0.6996时候的config:

李宏毅hw1_covid19预测_代码研读+想办法降低validation的loss(Kaggle目前用不了)_第5张图片

(2)先尝试调整learning rate:0.001 --> 0.005或者 0.0001

0.005时,非常糟糕

0.0001时,也没有好的表现

(3)再考虑调整momentum这个惯量:0.9 --> 1.0 或者0.8:

1.0时,直接完蛋:

0.8时,也没有更好

(4)那个early stop不打算调了,估计没戏,最后调一下这个batch_size:270 -->100,200,300,400

batch_size=100:

batch_size=200:​​​​​​​

batch_size=300:​​​​​​​

batch_size=400:​​​​​​​

果然,270还是最好的结果。。。

3.我改用更加 “多的神经元”:

(1)一个ReLU

李宏毅hw1_covid19预测_代码研读+想办法降低validation的loss(Kaggle目前用不了)_第6张图片

(2)2个ReLU:

出现了overfitting的case了,training上面的loss降下去了,但是validation上面的降不下去,

算了,以后再说。。。待我学成归来,定将你斩落马下

李宏毅hw1_covid19预测_代码研读+想办法降低validation的loss(Kaggle目前用不了)_第7张图片

你可能感兴趣的:(人工智能,人工智能,深度学习,机器学习)