LR为什么使用sigmoid函数

两个方面的原因

Sigmoid 函数自身的性质

  • sigmoid 函数连续,单调递增

  • sigmiod 函数关于(0,0.5) 中心对称

  • 对sigmoid函数求导

    p ′ = p ∗ ( 1 − p ) p′=p∗(1−p) p=p(1p)

    计算sigmoid函数的导数非常的快速

LR可以推出来sigmod函数

用 指数簇分布推导出来的sigmod函数
p ( y ; η ) = b ( y ) e x p ( η T ( y ) − α ( η ) ) p(y;\eta) =b(y)exp\big(\eta T(y)- \alpha(\eta)\big) p(y;η)=b(y)exp(ηT(y)α(η))

LR为什么使用sigmoid函数_第1张图片

二 者 统 一 起 来 则 有 α ( η ) = − l o g ( 1 − ϕ ) b ( y ) = 1 T ( y ) = y η = l o g ( ϕ 1 − ϕ ) 反 推 出 ϕ = e η 1 + e η 二者统一起来则有\\ \alpha(\eta) = -log(1-\phi)\\ b(y)=1\\ T(y)=y\\ \eta = log(\frac{\phi}{1-\phi})\\ 反推出 \phi = \frac{e^\eta}{1+e^\eta} α(η)=log(1ϕ)b(y)=1T(y)=yη=log(1ϕϕ)ϕ=1+eηeη

你可能感兴趣的:(机器学习实战笔记)