慕课网《Tensorflow2.0入门到进阶》课程代码无法收敛问题的解决方案

近日,B站学习慕课网的课程《Tensorflow2.0入门到进阶》,遇到一个问题,训练无法收敛,loss要不是变成nan,要不就越来越大。
慕课网《Tensorflow2.0入门到进阶》课程代码无法收敛问题的解决方案_第1张图片比较了一下版本,课程中用的是tensorflow2.0.0alpha,我用的是2.1.0,然后,我换成了2.0.0,结果,还是不行,最后,只能换成2.0.0alpha,结果,真的可以。
于是,比较了一下,SGD代码的默认实现,居然是这样的:
慕课网《Tensorflow2.0入门到进阶》课程代码无法收敛问题的解决方案_第2张图片
慕课网《Tensorflow2.0入门到进阶》课程代码无法收敛问题的解决方案_第3张图片
原来,TensorFlow2.0.0alpha中SGD的learning rate是0.001,到了2.0.0以及以后的2.1.0版本,改成了0.01,变得没那么容易的收敛了。

如果,要跑课程中的例子,又想用最新的版本的话,可以直接配置一下SGD,如下:
慕课网《Tensorflow2.0入门到进阶》课程代码无法收敛问题的解决方案_第4张图片

你可能感兴趣的:(tensorflow,深度学习,人工智能,机器学习,大数据)