机器学习03

目录

决策边界

损失函数

 梯度下降

过拟合

正则化


预测的变量y为是一个离散值的情况下的分类问题,这时要运算logistic回归算法,它能让h\left ( x \right )的输出值处于区间\left [ 0,1 \right ]之间,该数值用来表示处于某一分类的概率为多大

假设h_{\theta }(x)=g(\theta ^{T}x),其中g(z)函数可以有很多,这里假设为sigmoid函数,即g(z)=\frac{1}{1+e^{-z}}

决策边界

机器学习03_第1张图片

上面这条粉红的线就叫决策边界,它将整个平面分成了两个部分,一部分为类别1,另一部分为类别2,这决策边界是假设函数的属性,不是数据集的属性

损失函数

 用于分类问题的cost(h_{\theta }(x),y)=\begin{cases} -log(h_{\theta }(x)) & \text{ if } y=1 \\ -log(1-h_{\theta }(x)) & \text{ if } y=0 \end{cases}的损失函数,即交叉熵损失函数,可以简化为cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x)),二者等效,h(x)为预测结果,y为真实结果,最后整理可得J(\theta )=\frac{1}{m}\sum_{i=1}^{m}cost(h_{\theta }(x^{i}),y^{i}),即

机器学习03_第2张图片

 梯度下降

机器学习03_第3张图片

除了用梯度下降的方法进行优化以外,还可以用一些其他的方法进行优化 

过拟合

线性回归和逻辑回归在实际应用中,会出现过拟合问题,导致他们表现欠佳

过拟合问题将会在变量过多的时候出现,这时训练出的假设函数能很好地拟合训练集,损失值也十分接近0,但是它无法泛用到新的样本中,无法预测新样本

解决方案:

  • 减少样本变量的数量(可以人工选择剔除或用模型选择算法剔除)
  • 正则化:保留全部样本,减少量级或θ值的大小

正则化

如果我们的参数值\theta较小,这意味着,所选取的假设模型更为简单,更不容易出现过拟合问题

我们可以对损失函数进行修改,改为J(\theta )=\frac{1}{2m}(\sum_{i=1}^{m}cost(h_{\theta }(x^{i}),y^{i})+\lambda \sum_{j=1}^{n}\theta _{j}^{2}),后面新加的一项即为正则项,或叫惩罚项

正则化线性回归

机器学习03_第4张图片

 机器学习03_第5张图片

正则化逻辑回归

 机器学习03_第6张图片

你可能感兴趣的:(机器学习)