机器学习-斯坦福-Andrew Ng-学习笔记（raw）

---

第一课

supervised learning(有标准答案)

regression problem 回归问题

classification problem

learning theory

unsupervised learning(发现数据中的特殊结构)

reinforcement learning

---

第二课

linear regression

gradient descent

--batch gradient decent(训练数据很多时，参数更新太慢)

--stochastic gradient decent(or incremental gradient descent)但是并非全局最小值，与上述相比仅仅是近似。

(之间的区别，有待插入公式)

normal equations

--最小二乘法

---

第三课

linear regression

parametic learning algorithm

non-prarmetic learning algorithm

--locally weighted regression（loess）给出其中一种形式 w(i)=exp(-[x(i)-x]^2/（2*tow^2）)距离x越近权重越大，越远权重越小

--tow denotes bandwidth parameter控制权值随距离下降速率（虽然形式上很像高斯分布，但与高斯分布无关）

--局部权重回归 是一种非参数学习算法 如果有很大的训练集每次计算会有很大的代价，为提升效率可以参考KD-tree算法。

logistic regression （probabilistic interpretation） 

--probabilistic interpretation 最大似然法 与 最小二乘法 等价

--分类问题学习算法 signoid/logistic function函数g(z)=1/[1+exp(-z)]

--学习算法中，z=transform(theta)*x

-digression: perception 感知器

-newton's method

---

第四课

logistic regression

--Newton's method

--迭代取极值，收敛速度快

exponential family

--伯努利分布、高斯分布、泊松分布（天生适合计数类的模型）

generalized linear models(GLMs)

--三个条件

--softmax回归 用于处理分多个类的问题

---

第五课

---

未完待续