2018-12-01机器学习打卡

10课 线性回归——从模型函数到目标函数

模型函数

既然我们认为 x 和 y 满足线性相关关系，那么线性函数： y = a + bx，就是我们的模型函数。其中 y 也可以用 f(x) 来表示。

我们要做的是综合利用所有的训练数据（工作年限从0-5的部分）求出 y = a + bx 中常数 a 和 b 的值。

目标函数

综合利用的原则是什么呢？就是我们要求的这个 a 和 b，在将训练样本的 x 逐个带入后，得出的预测年薪 y’ = a + bx 与真实年薪 y 整体的差异最小。

y(i) 是常量参数（也就是 m 个样本各自的 x 和 y 值），而 a 和 b 成了自变量，J(a,b) 是因变量。能够让因变量 J(a, b) 取值最小的自变量 a 和 b，就是最好的 a 和 b。

线性

线性函数的定义是：一阶（或更低阶）多项式，或零多项式。
只有当训练数据集的特征是一维的时候，线性回归模型可以在直角坐标系中展示，其形式是一条直线
f(x) = a + bx （a、b 为常数，且 b≠0）—— 一阶多项式
或者 f(x) = c (c 为常数，且 c≠0) —— 零阶多项式
或者 f(x) = 0 —— 零多项式
特征是一维的，线性模型在二维空间构成一条直线；特征是二维的，线性模型在三维空间中构成一个平面；若特征是三维的，则最终模型在四维空间中构成一个体，以此类推。

线性回归拟合非线性回归

这里没有看懂，x2和x不是相关了吗，表现形式上转为线性公式，实际意义在哪呢？

11课 线性回归——梯度下降法求解目标函数

导数和微分

梯度下降

对于 J(a,b) 而言，有两个参数 a 和 b，函数 J 分别对自变量 a 和 b 取偏微分的结果是：

超参数

步长参数 alpha
可能的超参数：人工迭代次数，迭代阈值
在模型类型和训练数据确定的情况下，超参数的设置就成了影响模型最终质量的关键。

而往往一个模型会涉及多个超参数，如何制定策略在最少尝试的情况下让所有超参数设置的结果达到最佳，是一个在实践中非常重要又没有统一方法可以解决的问题。在实际应用中，能够在调参方面有章法，而不是乱试一气，就有赖于大家对于模型原理和数据的掌握了。

python程序

sklearn 预测上一例子工资，自己代码实现看看