牛顿下山法python_一文看懂牛顿法（附Python实现）

这是一个数据分析师的在线笔试编程题：不能使用数学库函数，求出一个数的算术平方根

是不是看的一脸懵逼？

这里就需要用到一个很常用的求解方法了 —— 牛顿迭代法，也被称作牛顿法 （Newton's Method）

牛顿法通过下面这个迭代公式来找到 f(x)=0 的解

那么这个公式到底是怎么来的呢？

原理

首先，f(x) 的值近似于其泰勒展开式：

如果只考虑前两项，我们就能得到一个近似等式

代入 f(x)=0，对 x 求解，我们就能得到一个近似解

由此我们就能得到上面的迭代公式

用动画来演示整个迭代过程图片来源：wikipedia(Ralf Pfeifer)

算术平方根求解

求一个数m的算术平方根，其实就是对

求解

将 f(x) 和 f'(x)=2x 代入上面的迭代公式，我们可以得到

Python代码实现

​这里我们还要注意要精确到小数点后四位，所以当两次迭代的近似解非常接近的时候，我们就可以结束迭代了

def newton(m):

x0 = m/2 #初始点，也可以是别的值

x1 = x0/2 + m/(x0*2)

while abs(x1-x0)>1e-5:

x0 = x1

x1 = x0/2 + m/(x0*2)

return x1

# 输出精确到小数点后四位

print( '%.4f'%newton(2) )

应用于最优化的牛顿法

牛顿法也可以应用于最优化问题，是一种被广泛使用并拓展的最优化算法

为了便于理解，我们以一维空间为例：假设 f(x) 是损失函数，我们的目标是找到能够使 f(x) 最小化的 x

即对 f'(x) = 0 求解

将牛顿法迭代公式中的 f(x) 替换为 f'(x)，f'(x) 替换为 f''(x)，我们得到新的迭代公式

多维空间下的最优化牛顿法以及拓展我会在接下来的文章中介绍，欢迎关注