机器学习算法之逻辑回归

逻辑回归算法

本部分将讲解机器学习算法中最为常用的逻辑回归算法，该算法的讲解主要来自于AndrewNg deeplearning.ai中部分课程的知识结合书籍中部分数学理论知识，将以较为易懂并部分深入的讲解，讲解中存在大量手写体的公式及推导。

逻辑回归算法中有几个基本点需要知道：

• 逻辑回归算法二分类算法并不是回归算法，因为其最终输出是一个概率值，并不是真正要预测的具体数值，而是通过概率值来决定最终分类结果
• 逻辑回归算法在理解上可以认为是单个神经元，其输出的概率需要sigmoid函数来进行映射到概率区间
• 逻辑回归基本上可以使用到所有的分类算法，对于分类问题可以优先考虑逻辑回归，根据奥克姆剃刀原理，能用线性分类的就不要用非线性的，能用简单算法分类的就不考虑用复杂算法分类

首先了解下二分类算法需要解决的问题：

      需要对上面这只猫进行归类判断其是一只猫还是一条狗，那么就需要训练一个模型来进行判别，对于这种是否，0和1等只有两种情况的分类就是二分类问题。
      为了解决这种分类问题，需要将图片进行向量化并作为输入，基本过程如下图：

      上面是将小猫的图像进行矩阵分解的示意图，需要将小猫的RGB分解为R、G、B三个通道，其实小猫的整幅图像就是这三个矩阵叠加后形成的，这样分解后就可以对其进行处理作为输入向量了，一般可以把x的维数记作n=nx=12288。

      以上便是二分类问题的一个基本转化，下面开始讲解引申出来的逻辑回归算法。

首先了解下逻辑回归算法的基本思路：

但是这个代价函数是单个样本的损失，即某个具体的样本预测后的值与真实值之间的差值，我们在进行大量样本训练的时候需要考虑到整个样本集合的损失情况，此时就需要引入一个成本函数：