2019-04-30《deep learning》深度学习“花书”阅读整理-Chapter4 数值计算（4.1、4.2数值计算可能产生的问题）

1、机器学习中的数值计算

        概念解释：通常是指通过迭代过程更新解的估计值来解决数学问题的算法（而非通过解析过程推导出公式来提供正确解的办法）

        常见操作：优化；线性方程组的求解。

        困难：实数无法在数字计算机的有限内存下精确表示，所以我们都是通过有限数量的位模式来表示无限多的实数，因此往往会引入一些舍入误差，舍入误差累积可能会导致算法失效，例如造成上溢或下溢。

1.1 上溢和下溢

        概念解释：

            下溢：当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零会发生异常，如除数为零、取零的对数等。

            上溢：当大量级的数被近似为∞ \infty∞ 或−∞ -\infty−∞ 时发生上溢。进一步的运算通常会导致这些无限值变为非数字。

        上溢下溢的解决实例——softmax函数：

            概念：softmax函数经常被用来预测与多项式分布相关联的概率，公式为：

            特例：所有的= c时，当c无穷小，分母为0，下溢，c无穷大，上溢；

             解决方案：

                    ;

                    exp最大参数值为0，排除上溢；

                    分母中必有一个1，排除下溢；

1.2 病态条件

        条件数：函数相对输入的微小变化而变化的快慢程度（输入的轻微变化导致输出的大幅改变）。

        病态条件：因本身特性引起的输出对输入误差的敏感性。