第二课

Linear Regression

Linear Regression

其实就是分为三步：

• 函数集
• 评判函数的好坏
• 找到最好的函数

1. 函数集是一些线性函数的集合，根据feature来定，比如一次多项式二次多项式
   三次多项式等。
2. 第二步中，我们定义一个loss function
   其中，j表示第j条input，i代表一共有i种feature，表示training data的实际观测值，表示training data 的预测值 表示output与training data的差距，而最好的function就是使最小的function。
3. 第三步是最重要且复杂的一步（公式太复杂懒得markdown了直接看图吧= =），通俗的讲，find function的过程实际就是找function的各项weight的过程，这里主要使用的是gradient descent，一步步的调成weight的大小，直至找到min 。在这里，又介绍了集中优化gradient descent的方法：例如ada grad、stochastic和scaling。