回归分析(1)-回归分析的基本概念

 1.回归方程

        由于x是可控的非随机变量， 而Y 是一个与x有关的随机变量，因此，直接研究变量Y与x之间的相关关系是困难的． 如果注意到随机变量Y的数学期望反映了随机变量Y的平均取值，因此， 可考虑研究EY与x之间的关系． 这时，EY往往是x的某个函数，即

 于是我们可以用一个确定的函数关系

大致描述Y与x之间的变化规律．函数μ(x)称为Y关千x 的回归函数，方程(5. 2)称为Y关于x 的回归方程．回归方程反映了Y的数学期望EY随x变化而变化的规律性． 下面我们通过研究回归函数μ(x)来达到探讨Y与x之间相关关系的目的

         一般说来，从任意的x的函数中找出回归函数μ(x )是困难的， 通常的做法是限制μ(x)为某一类型的函数． 函数μ(x)的类型可以由与被研究问题的本质有关的物理假设来确定．如果没有任何理由可以确定μ(x)的类型，则我们只能根据在试验结果中得到的散点图来x确定，在确定了μ(x)的类型以后，就可设

 其中为未知参数，于是我们的问题归结为：如何更具试验数据合理地选择参数的值，使方程

    (5.3)

在一定的意义下“最佳地“反映变量Y 与x之间的相关关系．解决这种问题的一种有效方法是最小二乘法．

2.最小二乘法

        所谓的最小二乘法，就是要求选取中的参数，使得各观测值与相应的函数值的离差平方和

最小。为此， 我们令s对求偏导数，并让它们等于零，就得到

 

         解方程组(5.5)，可以求得参数的估计值，带入方程(5.3),就得到回归方程一般说来，解方程组(5.5)是困难的，仅当函数是未知参数的线性函数时（这时，方程组(5.5)是关于的线性方程组），可以比较容易地求得这些参数的估计值．