深度学习笔记一:logistic回归模型与神经网络

  • 神经元——最小的神经网络

深度学习笔记一:logistic回归模型与神经网络_第1张图片

  • 激活函数sigmoid——二分类logistic回归模型
    深度学习笔记一:logistic回归模型与神经网络_第2张图片
        sigmoid的输出在0,1之间,概率正好也在0,1之间,因此我们可以做一个定义:在二分类的情况下,当输入数据的时候,属于Y = 0这个类的概率为这个函数的输出。在模型的训练之后,参数会根据训练数据进行调整,使得模型能够拟合数据。在随后的测试中,一个输入将会通过模型参数得到一个输出,完成分类任务。

  • 激活函数softmax-多分类logistic回归模型

深度学习笔记一:logistic回归模型与神经网络_第3张图片
    此时,权重W由一个向量变为矩阵,得到多个输出,再通过归一化,将所有输出相加的和变为1(下图)
深度学习笔记一:logistic回归模型与神经网络_第4张图片

  • 目标(损失)函数-衡量模型对数据的拟合程度

    通常用loss表示,是真实向量和预测向量之间差别的程度。

(1)平方差损失函数
在这里插入图片描述
(2)交叉熵损失函数
在这里插入图片描述

  • 神经网络训练目的:使损失函数(loss)最小(即预测值与真实值最为接近)

  • 神经网络——多层神经元
    深度学习笔记一:logistic回归模型与神经网络_第5张图片

你可能感兴趣的:(深度学习)