牛顿下山法python_一文看懂牛顿法(附Python实现)

这是一个数据分析师的在线笔试编程题:不能使用数学库函数,求出一个数的算术平方根

是不是看的一脸懵逼?

这里就需要用到一个很常用的求解方法了 —— 牛顿迭代法,也被称作牛顿法 (Newton's Method)

牛顿法通过下面这个迭代公式来找到 f(x)=0 的解

那么这个公式到底是怎么来的呢?

原理

首先,f(x) 的值近似于其泰勒展开式:

如果只考虑前两项,我们就能得到一个近似等式

代入 f(x)=0,对 x 求解,我们就能得到一个近似解

由此我们就能得到上面的迭代公式

用动画来演示整个迭代过程图片来源:wikipedia(Ralf Pfeifer)

算术平方根求解

求一个数m的算术平方根,其实就是对

求解

将 f(x) 和 f'(x)=2x 代入上面的迭代公式,我们可以得到

Python代码实现

​这里我们还要注意要精确到小数点后四位,所以当两次迭代的近似解非常接近的时候,我们就可以结束迭代了

def newton(m):

x0 = m/2 #初始点,也可以是别的值

x1 = x0/2 + m/(x0*2)

while abs(x1-x0)>1e-5:

x0 = x1

x1 = x0/2 + m/(x0*2)

return x1

# 输出精确到小数点后四位

print( '%.4f'%newton(2) )

应用于最优化的牛顿法

牛顿法也可以应用于最优化问题,是一种被广泛使用并拓展的最优化算法

为了便于理解,我们以一维空间为例:假设 f(x) 是损失函数,我们的目标是找到能够使 f(x) 最小化的 x

即对 f'(x) = 0 求解

将牛顿法迭代公式中的 f(x) 替换为 f'(x),f'(x) 替换为 f''(x),我们得到新的迭代公式

多维空间下的最优化牛顿法以及拓展我会在接下来的文章中介绍,欢迎关注

你可能感兴趣的:(牛顿下山法python)