从伯努利分布、极大似然估计到逻辑回归

伯努利分布

随机变量X的概率质量函数：

重复n次伯努利实验，成功次数是x，失败次数是n-x的概率为：

当n=1时，即是伯努利分布。所以伯努利分布的概率质量函数也表示为：

x代表事件发生，1-x代表事件不发生，p是事件发生的概率，1-p是事件不发生的概率。

极大似然估计

设定极大似然函数，极大似然函数取最大值时的参数估计最有可能是真实参数。离散情况下，假设每个实验独立同分布，则各事件单独发生的概率乘积即为似然函数。

逻辑回归

那么如何求解参数w和b—对数似然函数取最大值时的参数最有可能是真实参数，且对数似然函数最大，等价于交叉熵最小。具体看手推图：