第八课:(2)二分类神经网络&torch.nn.functional实现单层二分类网络的正向传播

文章目录

  • 二、二分类神经网络:逻辑回归
    • 1 二分类神经网络的理论基础
    • 2 tensor实现二分类神经网络的正向传播
    • 3 ReLU,Tanh, 阶跃函数sign,
      • Sigmoid函数
      • tanh
      • ReLU
      • 阶跃函数: 符号函数sign
    • 4、torch.functional实现单层二分类神经网络的正向传播
      • 实现

二、二分类神经网络:逻辑回归

1 二分类神经网络的理论基础

第八课:(2)二分类神经网络&torch.nn.functional实现单层二分类网络的正向传播_第1张图片
当自变量z 趋近正无穷时,因变量σ 趋近于1,而当z 趋近负无穷时,σ 趋近于0,这使得sigmoid函数能够将任何实数映射到(0,1)区间。

同时,Sigmoid的导数在z =0点时最大(这一点的斜率最大),所以它可以快速将数据从z =0的附近排开,让数据点到远离自变量取0的地方去。这样的性质,让sigmoid函数拥有将连续性变量z =0转化为离散型变量σ 的力量,这也就是化回归算法为分类算法的力量。
第八课:(2)二分类神经网络&torch.nn.functional实现单层二分类网络的正向传播_第2张图片
第八课:(2)二分类神经网络&torch.nn.functional实现单层二分类网络的正向传播_第3张图片
第八课:(2)二分类神经网络&torch.nn.functional实现单层二分类网络的正向传播_第4张图片

2 tensor实现二分类神经网络的正向传播

可以看出,这个结构与线性回归的神经网络唯一不同的就是输出层中多出了一个Sigmoid(z )。当有了Sigmoid函数的结果之后,只要了解阈值是0.5(或者任意我们自己设定的数值),就可以轻松地判断任意样本的预测标签,
在二分类神经网络中,Sigmoid实现了将连续型数值转换为分类型数值的作用, 在现代神经网络架构中,除了Sigmoid函数之外,还有许多其他的函数可以被用来将连续型数据分割为离散型数据,接下来,我们就介绍一下这些函数。
第八课:(2)二分类神经网络&torch.nn.functional实现单层二分类网络的正向传播_第5张图片

第八课:(2)二分类神经网络&torch.nn.functional实现单层二分类网络的正向传播_第6张图片

你可能感兴趣的:(菜菜,-pytorch,pytorch,机器学习)