最大似然法求解Softmax回归

概念

Softmax回归就是k分类的逻辑回归。

建模

1)假设目标变量服从项式分布:\small {\begin{eqnarray} p(y; \phi_1, \cdots, \phi_{k-1}) = \phi_{0}^{ \mathbf{1} \{ y = 0 \} } \phi_{1}^{ \mathbf{1} \{ y = 1 \} } \cdots \phi_{k-1}^{ \mathbf{1} \{ y=k-1 \} } \\ = (1 - \sum_{j=1}^{k-1} \phi_{j})^{1 - \sum_{j=1}^{k-1} \mathbf{1} \{ y = j \} } \phi_{1}^{ \mathbf{1} \{ y = 1 \} } \cdots \phi_{k-1}^{ \mathbf{1} \{ y = k-1 \} } \end{eqnarray} } 这里我们也用到了和最大似然求解k分类GDA模型中相同的指示函数
2)将以上项式分布写为指数族分布形式。定义满足,同时定义。\small{ \begin{eqnarray} &p(y; \phi_1, \cdots, \phi_{k-1}) = \phi_{0}^{ \mathbf{1} \{ y = 0 \} } \phi_{1}^{ \mathbf{1} \{ y = 1 \} } \cdots \phi_{k-1}^{ \mathbf{1} \{ y=k-1 \} } \\ =& (1 - \sum_{j=1}^{k-1} \phi_{j})^{1 - \sum_{j=1}^{k-1} \mathbf{1} \{ y = j \} } \phi_{1}^{ \mathbf{1} \{ y = 1 \} } \cdots \phi_{k-1}^{ \mathbf{1} \{ y = k-1 \} } \\ =& \end{eqnarray} } 根据广义线性模型,

未完待续

你可能感兴趣的:(最大似然法求解Softmax回归)