何为"Newton's method"
牛顿法（英语：Newton's method）又称为牛顿-拉弗森方法（英语：Newton-Raphson method），它是一种在实数域和复数域上近似求解方程的方法。方法使用函数的泰勒级数 $f\left( x \right) $ 的前面几项来寻找方程 \(f\left( x \right) =0\) 的根。
方法说明
首先，选择一个接近函数\(f\left(x\right)\) 零点 [ 令\(f\left(x\right)=0)\) 的点] 的 \(x_0\)，计算相应的 \(f\left(x_0\right)\) 和该点的切线斜率，即对该点的函数求导得 \(f'\left( x_0 \right)\) 。然后我们计算穿过点 (\(x_0\), \(f\left(x_0\right)\)) 并且斜率为 \(f'\left(x_0\right)\) 的直线和 \(x\) 轴的交点的横坐标，也就是求如下方程的解 [下面式子也恰好为 \(f\left(x\right)=0\) 的泰勒展开式的前两项 \(f\left( x \right) =f\left( x_0 \right) +f'\left( x_0 \right) \left( x-x_0 \right) =0\)]：
我们将新求得的点横坐标命名为 \(x_1\)，通常 \(x_1\) 会比 \(x_0\) 更接近方程 \(f\left(x\right)=0\) 的解。因此 我们可以利用 \(x_1\) 进行下一轮的迭代。迭代公式可简化为：
图像示例：
示例
求方程 \(\cos \left( x \right) -x^3=0\) 的根。
由于 \(-1\le \cos \left( x \right) \le 1\) ，则 \(-1\le x^3\le 1\) , 即 \(-1\le x\le 1\) ，则 \(0\le \cos \left( x \right) \le 1\) ，因此 \(0\le x^3\le 1\) ，所以 \(0\le x\le 1\)。可知方程得根位于0和1之间。我们可以从 \(x=0.5\) 开始。
令 \(f\left( x \right) =\cos \left( x \right) -x^3\) ，两边求导，得 \(f'\left( x \right) =-\sin \left( x \right) -3x^2\)。
牛顿法 VS 二分法
以求解立方根得问题为例：
解法一
求立方根的问题实际上就是在 1~给定数字 之间找到一个数，让这个数的立方近似等于给定数字，由此转化为了一个查找问题。
def binary_cubic_root(num):
low = 1
high = num / 2.0
mid = low
while high - low > 0.0001:
mid = (low + high) / 2.0
cubic = mid * mid * mid
if cubic < num:
low = mid
elif cubic > num:
high = mid
else:
break
return mid
解法二
求立方根得问题实际上就是解决 \(x^3-k=0\) 得解，其中 \(k\) 是给定已知得值，转化为牛顿迭代公式为：\(x_{n+1}=x_n-\frac{x_{n}^{3}-k}{3x_{n}^{2}}\) 。
def newton_cubic_root(num):
# give an approximation of root
last = num
new = last - (last * last * last - num) / (3.0 * last * last)
while abs(new - last) > 0.0001:
last = new
new = last - (last * last * last - num) / (3.0 * last * last)
return new
为什么要用牛顿法？
牛顿迭代法的速度比二分法的速度要快。
time_1 = time.clock()
print("binary_search %.4f" % binary_cubic_root(12345678))
print(time.clock() - time_1)
time_2 = time.clock()
print("newton %.4f" % newton_cubic_root(12345678))
print(time.clock() - time_2)
binary_search 231.1204
3.419999999998424e-05
newton 231.1204
2.5200000000002998e-05
参考
维基百科