机器学习

机器学习Week 1

---

前言

最近开始follow机器学习大牛Andrew Ng在Coursesa上的课程，特开此专题以记录之。

---

1.机器学习的定义

Tom Mitchell 给出了一个相对有趣的定义，他的原话是:

A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

我个人觉得Tom Mitchell的定义相当清晰明了，我就不再赘述。

2.机器学习的分类

机器学习主要可以分为两类：

• Supervised Learning
• Unsupervised Learning

暂将其翻译为带监督的学习(Supervised Learning)和不带监督的学习(Unsupervised Learning)。所谓Supervised Learning即其数据集带有正确答案，Unsupervised Learning与之相反。所谓正确答案，我的理解即为包含了客观事实或者人们的常规理解的结果。比如每平方米的房价和对图片美丑的判断数据。

2.1 Supervised Learning

Supervised Learning可大致被分为两类：

• regression problem,即回归问题
• classfication problem,即分类问题

回归问题通常指输出为连续型，将问题映射到一个连续函数的问题，比如预测房价的走势；分类问题通常指输出为离散型，比如判断一张图片的美丑。个人感觉，仅以输出为连续型或者离散型来判断问题的种类可能会产生误解，比如预测一件商品在下一季度将会卖出的个数，显然输出为离散型，但其并不是分类问题。分类问题的输出具有互斥性，回归问题的输出为同一随机变量的可能取值。强行解释了一波，自以为解释得并不是很好，其实对于是不是分类问题，直观上是很容易判别的，如果不是分类问题即可归为回归问题。

2.2 Unsupervised Learning

Unsupervised Learning可以解决那些我们不知道“正确答案”的问题。Unsupervised Learning同样可以分为两类：

• Clustering，聚类问题
• Non-clustering，非聚类问题

诸如，根据消费者的需求将消费者分为几类，即为聚类问题；将混叠的声音分离出来即为非聚类问题。

3.Linear Regression with one variable

一元回归问题可以简要描述如下：

给定一组数据{ x(i):i=1,2,3,...,m },{ y(i):i=1,2,3,...,m },称x(i)为输入变量，y(i)为输出变量或者目标变量。( x(i),y(i) )称为一个训练样本，{ (x(i),y(i)):i=1,2,3,...,m }称为训练集。一元线性回归的目的即为，得到一个假设函数(hypothesis function)h(x)=θ₀+θ₁x,使得成本函数(cost function)J(θ₀,θ₁)最小。

其中cost function如下:

一元回归的过程如下：

3.1 Gradient Decent

Gradient Decent即梯度下降法，类似于牛顿迭代法，梯度下降算法如下：

如其名字所示，参数θ₀,θ₁沿着梯度下降，将cost function代入可得如下公式：

需要注意的是，θ₀,θ₁需要同时更新，即需要先计算出θ₀和θ₁，然后同时更新θ₀和θ₁。