回归和分类算法

回归和分类算法

文章目录

  • 回归和分类算法
    • A-线性回归算法:
      • (01)线性回归的公式:
      • (02)线性回归误差分析:
      • (03)引入似然函数:
      • (04)引入对数似然函数:
      • (05)行列式的计算:
      • (06)行列式的求导:
    • B-logistic回归算法:
      • (01)引入sigmoid函数:
        • (*)应用一分类:
        • (*)应用二理想解:
    • C-梯度下降原理:
      • (*)实例分析:
        • (01)Normalize the data:
        • (02)J(θ0,θ1)线性关系的分析:
        • (03)根据线性回归的误差分析,得到代价函数:
        • (04)根据线性回归分析特点,对θ1和θ0求偏导式如下:
        • (05)引入“梯度”概念:
        • (06)设定边界值训练:
        • (07)cost与训练次数分析:

A-线性回归算法:

如工资预测:
回归和分类算法_第1张图片

(01)线性回归的公式:

回归和分类算法_第2张图片

(02)线性回归误差分析:

在这里插入图片描述

如上为线性回归误差公式。

在这里插入图片描述

条件:(1)样本预测结果相互独立。(2)样本预测结果处于于相同的误差范围。(3)均值为0,且方差为θ∧2的正态分布(高斯分布),得到如下公式(μ=0):

回归和分类算法_第3张图片

然后通过对ε(i)进行替换,得到如下的式子:
回归和分类算法_第4张图片

(注释:某θ值与x拟合后得到p(x;θ)越接近于p(y)。)

(03)引入似然函数:

(目的:对全体样本进行预测估计)

针对不同的θ值=》L(θ)数值=》取max值时的θ向量组即为θ的最终理想解。(m为样本总数。)
回归和分类算法_第5张图片

(04)引入对数似然函数:

目的:将乘法计算过程转换为加法计算过程。

回归和分类算法_第6张图片

然后进行化简得到下式。
在这里插入图片描述

得到目标函数如下:

回归和分类算法_第7张图片

(05)行列式的计算:

对目标函数进行行列式的转换求解,如下:
回归和分类算法_第8张图片

(定理运用:a∧2=a∧T*a)

对J(θ)求导,进行极值的计算如下:

在这里插入图片描述
(定理运用:(ab+c)∧T=b∧T*a∧T+c∧T)

(06)行列式的求导:

进行求导的过程如下:

回归和分类算法_第9张图片

(定理运用:行列式求导知识)

令▽θJ(θ)=0,得到θ的理想解:

回归和分类算法_第10张图片

B-logistic回归算法:

(01)引入sigmoid函数:

回归和分类算法_第11张图片

以(θ∧T*X)为自变量得到下式:

回归和分类算法_第12张图片

(*)应用一分类:

然后根据 θ∧T得到相应的hθ(x)值,然后根据设定的概率区间对X进行分类。

(*)应用二理想解:

若θ∧T为未知理想解,使得hθ(x)趋近于0/1,则对g(θ∧T*x)进行求导,求其极值点,得到如下关系式:

在这里插入图片描述

C-梯度下降原理:

(*)实例分析:

(01)Normalize the data:

回归和分类算法_第13张图片

(02)J(θ0,θ1)线性关系的分析:

假设y与x为线性回归关系:

在这里插入图片描述

(03)根据线性回归的误差分析,得到代价函数:

[

代码实现部分:

回归和分类算法_第14张图片

测试样例:

在这里插入图片描述

(04)根据线性回归分析特点,对θ1和θ0求偏导式如下:

θ1:

在这里插入图片描述

θ0:

在这里插入图片描述

代码实现部分:

θ1:
回归和分类算法_第15张图片

θ0:
回归和分类算法_第16张图片

测试样例:

θ1:

在这里插入图片描述

θ0:
在这里插入图片描述

(05)引入“梯度”概念:

在这里插入图片描述
在这里插入图片描述

如图:
回归和分类算法_第17张图片如图为cost=J(θ1,θ0)示意图(cost大于0,图示有误)。α为设定的步长,∂J(θ0,θ1)/∂θ0为梯度。

(06)设定边界值训练:

α,θ1,θ0,max_epochs,convergence_thres,cprev的设定和初始化采用预设值。

代码部分:

回归和分类算法_第18张图片

测试样例:
在这里插入图片描述

(07)cost与训练次数分析:

最优解样例:
在这里插入图片描述

附cost与训练次数关系图:

回归和分类算法_第19张图片

你可能感兴趣的:(#,机器学习)