一文读懂自动微分( AutoDiff)原理

文章目录

    • 1. Manual Differentiation
    • 2. Symbolic Differentiation(符号微分)
    • 3. Numerical Differentiation(数值微分)
    • 4. Forward-Mode Autodiff(前向自动微分)
    • 5. Reverse-mode Autodiff(反向自动微分)

整理自《Hands On ML——Appendix D》,略有改动,如有不解请参考原文(感觉原文也多少有点问题)。

一文读懂自动微分( AutoDiff)原理_第1张图片

1. Manual Differentiation

一文读懂自动微分( AutoDiff)原理_第2张图片

2. Symbolic Differentiation(符号微分)

在这里插入图片描述一文读懂自动微分( AutoDiff)原理_第3张图片一文读懂自动微分( AutoDiff)原理_第4张图片一文读懂自动微分( AutoDiff)原理_第5张图片

3. Numerical Differentiation(数值微分)

一文读懂自动微分( AutoDiff)原理_第6张图片一文读懂自动微分( AutoDiff)原理_第7张图片一文读懂自动微分( AutoDiff)原理_第8张图片

4. Forward-Mode Autodiff(前向自动微分)

一文读懂自动微分( AutoDiff)原理_第9张图片一文读懂自动微分( AutoDiff)原理_第10张图片一文读懂自动微分( AutoDiff)原理_第11张图片一文读懂自动微分( AutoDiff)原理_第12张图片一文读懂自动微分( AutoDiff)原理_第13张图片

5. Reverse-mode Autodiff(反向自动微分)

一文读懂自动微分( AutoDiff)原理_第14张图片一文读懂自动微分( AutoDiff)原理_第15张图片一文读懂自动微分( AutoDiff)原理_第16张图片一文读懂自动微分( AutoDiff)原理_第17张图片一文读懂自动微分( AutoDiff)原理_第18张图片

你可能感兴趣的:(#,《Hands,On,ML》笔记)