深度学习 Day 4.2 Logistic Regression——Discriminative Model

目录

1. Function Set 设定公式

 2. Goodness of a Function 损失函数

  3. Find the best function 梯度下降

4. 为何判断logistic regression模型的好坏，用 交叉熵而不是Square Error:

 5. Multi-class Classification

5.1 用softmax来计算一个元素去到各个class的概率

 5.2 把f(x)和y的分布用交叉熵来对比

 6. Feature transformation

---

1. Function Set 设定公式

 2. Goodness of a Function 损失函数

即两个伯努利分布的交叉熵

  3. Find the best function 梯度下降

 4. 为何判断logistic regression模型的好坏，用 交叉熵而不是Square Error:

交叉熵在距离目标越远的时候比较陡峭，而Square Error在离目标远的地方也可能会比较平坦

 5. Multi-class Classification

5.1 用softmax来计算一个元素去到各个class的概率

 5.2 把f(x)和y的分布用交叉熵来对比

 6. Feature transformation

用logistic regression来做featrure transformation