一、线性回归模型简介：
回归问题的目的是在给定D维输入变量x的情况下，预测一个或多个连续目标变量t的值。线性回归模型的最简单的形式也是输入变量的线性函数，但是通过将一组输入变量的非线性函数进行线性组合，我们可以获得一类更加有用的函数，这些非线性函数被称为基函数。这样的模型是参数的线性函数，这使得其具有一些简单的分析性质，同时关于输入变量是非线性的。
(1)线性基函数模型：
回归问题的最简单模型是输入变量的线性组合：
$$y(x,w) = w_0+w_1x_1+...+w_Dx_D$$
这个模型的关键性质是它是参数$w_0,...,w_D$的一个线性函数，同时也是输入变量$x_i$的线性函数。这样会给模型带来极大的局限性。我们可以这样扩展模型：将输入变量的非线性函数进行线性组合，形式为：
$$y(x,w) = w_0 + \sum_{j=1}^{M-1}w_i\phi_j(x)$$
其中$\phi_j(x)$被称为基函数，通过定义一个额外的虚“基函数”$\phi_0(x)=1$,同时令$W=(w_0,...w_{M-1})^T$且$\phi=(\phi_0,...\phi_{M-1})^T$.上面的模型可以改写为如下形式：
$$y(X,W) = \sum^{M-1}_{j=0}w_j\phi_j(x)=W^T\phi(X)$$
对于基函数，有许多选择，其中用的比较多的有高斯基函数：$\phi_j(x)=exp{-\frac{(x-\mu_j)^2}{2s^2}}$。其中$\mu_j$控制了基函数在输入空间中的位置，参数s控制了基函数的空间大小。
另一种是sigmoid函数，形式为$\phi_j(x) = \sigma(\frac{x-\mu_j}{s})$，其中$\sigma(a)$是logistic sigmoid函数，定义为$\sigma_a=\frac{1}{1+exp(-1)}$
(2)最大似然与最小平方