Deep Learning - 第四章 - 数值计算-Deep Learning 读书笔记

在机器学习中，相较于公式推导和解析的符号数学，经常要涉及到通过借助某种数值计算算法来通过多次迭代的方式来求解某些问题，包括优化问题和线性方程组的求解。由于涉及到多次迭代和累积计算，因此就有一些问题需要格外的注意。

溢出 Overflow 和下溢 Underflow

现代计算机是基于离散数学原理建立的，因此用计算机来表征任何实数都需要采用一个近似值，而非绝对值，此时就产生了舍入误差 rounding error，这个舍入误差在多次计算后会被逐渐的累积最终当数值非常接近 0 的时候就会产生下溢，从而出现诸如分母为 0 的情况，或着由于取值非常大在计算指数的时候出现溢出的情形。这两个问题都是深度学习和机器学习工具库的创建者必须要考虑的问题，而对于调用库的用户来说则可以依赖于底层库来提供稳定的数值计算。