机器学习（吴恩达）

定义：计算机程序从经验E中学习，解决某一任务T，进行某一性能度量P，通过P测定在T上的表现因经验E而提高，以跳棋游戏为例，经验E就是程序与自己下几万次跳棋，任务T就是玩跳棋，性能度量P就是与新对手玩跳棋时赢的概率。

目前有各种不同类型的学习算法，主流的是监督学习和无监督学习。监督学习就是个我们会教计算机做某件事情，无监督学习就是我们让计算机自己学习。

监督学习：我们给算法一个数据集，其中包含了正确答案，算法的目的就是给出更多的正确答案。用多组基础特征来预测我们需要的数据。实际上我们可能要处理无穷多的特征，因为你们计算机的内存可能要溢出，我们有一个灵巧的数学技巧来允许我们处理无穷多的基础特征，SVM，PCA等等。

无监督学习：我们仅仅被告知有一个数据集，无监督学习包含两个不同的簇，也就是分类，无监督学习可以把这些数据分成两个不同的簇，这就是聚类算法。当然，聚类仅仅是无监督学习的一种。你给算法大量的数据集，要求它找出数据的类型结构。

回归问题是预测一个连续值的输出，分类问题是预测离散值输出。

以线性回归为例，我们要得到的就是预测函数和实际值之间的误差平方和最小值也就是

 

也称代价函数

 

而我们的目标就是要获得目标函数的最小值。