逻辑回归(logistic regression)

逻辑回归

一、假设函数

h θ ( x ) = g ( θ T X ) = 1 1 + e − θ T X ( S i g m o i d 函 数 ) h_\theta(x) = g(\theta^TX)=\frac{1}{1+e^{-\theta^TX}} \qquad \qquad \qquad (Sigmoid函数) hθ(x)=g(θTX)=1+eθTX1(Sigmoid)
逻辑回归(logistic regression)_第1张图片
X取值范围是 ( − ∞ , + ∞ ) (-\infty, +\infty) (,+)
Y的取值范围是(0, 1)
{ θ T X 小 于 0 = ⇒ h θ ( x ) < 0.5 = ⇒ y = 0 θ T X > 0 = ⇒ h θ ( x ) > 0.5 = ⇒ y = 1 θ T X = 0 = ⇒ h θ ( x ) = 0.5 = ⇒ 决 策 边 界 \begin{cases} & \theta^TX小于0 =\Rightarrow h_\theta(x) < 0.5 =\Rightarrow y=0 \\ & \theta^TX>0 =\Rightarrow h_\theta(x) > 0.5 =\Rightarrow y=1\\ & \theta^TX=0 =\Rightarrow h_\theta(x) = 0.5 =\Rightarrow 决策边界 \end{cases} θTX0=hθ(x)<0.5=y=0θTX>0=hθ(x)>0.5=y=1θTX=0=hθ(x)=0.5=

二、代价函数 - 最大似然估计

线性回归的代价函数是平方损失函数,将逻辑回归的假设函数代入公式后的损失函数是一个非凸函数,有很多个局部最优解,没有办法快速的获得全局最优解,于是我们就用上了最大似然估计:
J ( θ ) = {  if y=1 then  − y ( i ) l o g ( h θ ( x ( i ) )  if y=0 then  − ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) J(\theta)=\begin{cases} & \text{ if y=1 then } -y^{(i)}log(h_\theta(x^{(i)}) \\ & \text{ if y=0 then } -(1-y^{(i)})log(1-h_\theta(x^{(i)})) \end{cases} J(θ)={ if y=1 then y(i)log(hθ(x(i)) if y=0 then (1y(i))log(1hθ(x(i)))
整合后
J ( θ ) = 1 m ( − y ( i ) l o g ( h θ ( x ( i ) ) ) − ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ) J(\theta)=\frac{1}{m}(-y^{(i)}log(h_\theta(x^{(i)})) - (1-y^{(i)})log(1-h_\theta(x^{(i)}))) J(θ)=m1(y(i)log(hθ(x(i)))(1y(i))log(1hθ(x(i))))

三、目标函数

M i n J ( θ ) MinJ(\theta) MinJ(θ)

四、求解目标函数

1、梯度下降

2、正规方程

五、为什么是Sigmoid函数

  • 输入范围是−∞→+∞,输出为0,1,正好满足概率分布为(0,1)的要求
  • 单调上升的可导函数

@ 学必求其心得,业必贵其专精

你可能感兴趣的:(机器学习,逻辑回归,人工智能)