深度学习小技巧日记（日日新）

1、Tensorflow使用GPU加速训练

gpus = tf.config.experimental.list_physical_devices(device_type='GPU')
for gpu in gpus:
    tf.config.experimental.set_memory_growth(gpu, True)

2、为什么要shuffle?

就好像温室的花朵和野花一样，训练神经网络的本质是让网络从不同的数据中捕捉到相同的特征，如果一系列图片都是同一种的数据，那么就好像温室的花朵一样，经不起复杂环境的考验，直接表现就是：过拟合。

3、Anaconda出现有关“--user”的错误

解决办法：

只需在安装的包后面加上 --user

4、jit使得python加速上百倍

5、Ranger完美优化

Ranger 优化器是一个易于使用和高效的单一代码库(加载/保存和一个循环处理的所有参数的更新)，集成到了 FastAI 中，Ranger 的源代码你可以直接拿来用

lessw2020/Ranger-Deep-Learning-Optimizer: Ranger - a synergistic optimizer using RAdam (Rectified Adam), Gradient Centralization and LookAhead in one codebase (github.com)