深度学习入门笔记（一）二分分类、logistic回归

Its like a finger pointing away to the moon. Dont concentrate on the finger or you will miss all that heavenly glory.

目录

什么是二分类？

符号解释

logistic回归

sigmoid函数

logistic回归损失函数

---

什么是二分类？

有一组图片，里面有些是小猫咪，有些不是小猫咪。每张图片由64×64个像素组成，每个像素包含（红、绿、蓝）三个颜色的信息。将图片里的64×64×3的数据提取出来，组合成一个向量，就是。

符号解释

是一个长度为的向量，y是一个数，要么是0，要么是1（是或不是）。

是training sets，是由m个训练样本组成的。，这就是我们的训练集（training set）。

训练数据集：，用于训练我们的二分类模型。

测试数据集：（test example），用于测试模型的准确度。

我们会把整个数据集写的更紧凑一些，就像这样。

（将向量拼凑在一起，形成矩阵）

，是一个行列的矩阵。

X.shape

得到的结果也是

同时我们也把标签y也整理在向量中

logistic回归

logistic回归——一个机器学习算算法，用于监督学习，用于解决二分类问题。

 是一个特征向量，他代表着一个图片。

 代表着这张图片是不是一只小猫咪。

 是你的算法对这张图片是不是小猫咪的估计。，特征向量的标签为1的概率。

logistic回归的参数是，他和一样，也是一个维的向量，。是一个常数，。

如果我们用线性回归法的话，我们直接可以，但这并不是一个好的二分类算法。

因为我们希望是一个概率，它应该介于0和1之间。w和x直接线性相乘再相加，显然不会是一个介于0和1之间的数，他有可能会非常大，也有可能是个负数。

sigmoid函数

所以，这里，我们引入sigmoid函数。。

 

z非常大时，就非常接近1。当z非常小时，就非常接近0。

logistic回归损失函数

损失函数（loss function），例如，但是logistic回归中我们一般不用这样的损失函数，因为这样我们可能会让我们的损失函数有很多的局部极值，用梯度下降法，我们很难得到最有解，我们很有可能得到的是局部最优解。

在logistic回归中，我们用的是这样的损失函数。

由于sigmoid函数，只能介于0和1之间。我们可以分别将带入这个损失函数看一下，感受一下。

成本函数（cost function），

损失函数是对单个数据来说的，成本函数是对整个数据集来说的。