深度学习中的数值微分（梯度）

0. numerical differentiation

英文名如上所示

0.1 梯度决定信息前进的方向

0.2 什么是数值微分

就是用数值方法近似求解函数的导数的过程

1. 完整代码

# coding: utf-8
import numpy as np
import matplotlib.pylab as plt

# 函数求导的程序
def numerical_diff(f, x):
    h = 1e-4 # 0.0001
    return (f(x+h) - f(x-h)) / (2*h)

# 原函数
def function_1(x):
    return 0.01*x**2 + 0.1*x

# 函数切线
def tangent_line(f, x):
    d = numerical_diff(f, x)
    print(d) # d表示斜率
    y = f(x) - d*x
    return lambda t: d*t + y

# 使用需要的x和y的点来画图
x = np.arange(0.0, 20.0, 0.1)
y = function_1(x)
plt.xlabel("x")
plt.ylabel("f(x)")

# 
tf = tangent_line(function_1, 5)
y2 = tf(x)

plt.plot(x, y)
plt.plot(x, y2)
plt.show()

2. 如何学好一门语言/课程？

2.1 读源码

2.2 写注释

2.3 debug 查看变量值和语句意思

2.4 Python console 使用解释器在执行的过程中查看变量值

2.5 亲自动手写代码