【监督学习】模型和代价函数

一、监督学习的模型

• m：训练样本数目
• x：输入变量/特征量
• y：输出变量/目标变量
• (x(i),y(i))：第i个训练样本
• x(i)：第i个训练样本的特征量
• y(i)：第i个训练样本的目标变量
• h：算法根据训练样本，经过训练，给出的结果函数，是一个x→y的映射

监督学习的模型

• 若y是连续的：回归问题
• 若y是且只是几个离散量中的一个：分类问题

二、代价函数

以线性回归为例
h(x)=θ0+θ1x
训练的目标是什么？
最小化代价
找到θ0，θ1，min 1/2mΣ[h(x(i))-y]²，i=1,2,...,m
代价函数：

线性回归的代价函数

又被叫做平方误差函数、平均平方误差
除以m取平均避免了训练集大小的影响，而为什么是1/2，是因为这个函数是二阶的，二次项求导系数会出来一个2，整体乘了1/2之后，刚好抵消，梯度的形式会比较简单

等高线图可以表示有两个变量的代价函数
同一条线上的点代价相等

等高线图示例