应用场景

算法服务于业务，有必要了解其商业应用背景。目前了解到的应用场景有信用卡反欺诈（是否敢给这个人办信用卡）、医学、制药业等。尽管可以进行多选项的分类，但是逻辑回归一般用于二分类。

前提知识

有必要了解矩阵的求导，参考：https://www.jianshu.com/p/d1d932e7fe1f

模型公式

逻辑回归的假设函数：

其中，表示参数向量，表示一行训练集构成的列向量，表示 sigmoid 函数，即,这个函数的图像是一个输出值在开区间内的曲线。

sigmoid函数

也就说，我拿到一组特征数据，代入假设函数后，最终输出的是介于0和1的一个值，这个值我们视为概率，当它大于、小于0.5时，该模型计算的预测值分别属于不同的类别。等于0.5时属于哪一类？我姑且认为这是不可能发生的，因为计算过程都是精确到小数后很多位的。如果真的碰上了，那么归为任何一类都可以。

损失函数

训练集的所有label均为 0,1 两个值。如果label=0，那么预测结果越接近0，损失函数应该越小，反之越大。当label=1时，预测结果越接近1，损失函数应该越小，反之越大。当label=1，预测结果也是1，那么损失函数值为0，当label=0，预测结果是0，那么损失函数值也是0。什么样的函数才能达到这种效果，精挑细选之后，大佬们确定用对数函数来作为损失函数，也就是，这里表示预测值。你会看到:

cost function

为了把两种情况都考虑进去，我们的损失函数就变成：

它的好处是，当时，，而当时，。这个设计是相当巧妙的。
我们要的只是函数的这种特性，所以这个对数函数的底只要大于1就可以，这里为了方便求导，我们取底数为e。
我们来对假设函数求导：

$\begin{aligned}h'&=((1+e^{-z})^{-1})'=-(1+e^{-z})^{-2}(1+e^{-z})'\\ &=-(1+e^{-z})^{-2}(-e^{-z})\\ &=\dfrac{e^{-z}}{(1+e^{-z})^2}\\ &=(\dfrac{1}{1+e^{-z}})(\dfrac{1+e^{-z}-1}{1+e^{-z}})\\ &=(\dfrac{1}{1+e^{-z}})(1-\dfrac{1}{1+e^{-z}})\\ &=h(1-h)\end{aligned}$

也就是假设函数的导数可以用假设函数本身直接表示，后面会用到这个结论。

矩阵运算

这里的只是一个实数，现在我们用向量来表示整个训练集的预测值组成的列向量，，其中表示整个训练集，表示参数向量。
于是我们损失函数也改写成一个向量到向量的函数：

其中的维度都是(训练集的行数x1)。不过我们关注的是与的关系，记因此根据链式法则：

分开来看：
$\dfrac{\partial{\textbf{c}}}{\partial{\textbf{h}}}= \dfrac{-\textbf{y}}{\textbf{h}} +\dfrac{1-\textbf{y}}{1-\textbf{h}}= \dfrac{-\textbf{y}(1-\textbf{h})+\textbf{h}(1-\textbf{y})}{\textbf{h}(1-\textbf{h})}= \dfrac{\textbf{h}-\textbf{y}}{\textbf{h}(1-\textbf{h})}……(1)$

式子(2)前面已经对sigmoid函数求过导，这里相当于把这一列的每一个值做相同处理而已。式子(3)在前提知识中已经证明。三式子相乘得到：

最后的结果是简洁优雅的。这个也就是损失函数的梯度。

类似的，如果只考虑一个点，那么有。
我们一般把数据点写成行，特征写成列。于是很自然当做行向量处理，而梯度我们一般写成列向量，因此这里用了转置。这种比较常用一点，每一个数据点更新一次比较实际一点，如果是整个训练集，则太占内存。

梯度下降法

也就是利用下面的算法进行迭代，直到收敛。

逻辑回归算法