【神经网络】自适应线性单元——Adaline

自适应线性单元–Adaptive Linear Units–Adaline

模型结构

• 在M-P模型的基础上
• $\begin{array}{rl}s(k)& =\sum _{i=1}^n{w}_i{x}_i(k)-\theta \\ & =\sum _{i=0}^n{w}_i{x}_i(k)\\ & =W^{T}X(k)\end{array}$
• $y(k)$依然是二值输出，$\phi (s)$可以取$\phi (s)=U(s)$或$\phi (s)=Sgn(s)$
• $d(k)$依然是期望输出（不是二值，是任意值）
• 区别：使线性部分（任意值）来逼近理想输出

• 学习算法：LMS，利用$d(k)和s(k)$的差别，使$e(k)=d(k)-s(k)$，来调整权重$w_i$，使得线性输出$s(k)\to d(k)$，从而使得$y(k)$逼近理想的二值函数

最小均方误差算法(The Least Mean Squared Error Algorithm，LMS)

• 算法的存在性和收敛性

• 设理想权值为$W^{\ast }$

  $s(k)=W^{T}X(k),W=[w_0,w_1,...,w_n{]}^T,X(k)=[1,x_1(k),...,x_n(k){]}^T$

  则误差$e(k)$为：$e(k)=d(k)-W^{T}X(k)$，$e(k)$是关于$W$的线性函数

  定义误差平方的数学期望为$J(W)=E[e^2(k)]\stackrel{W}{}\min$选取合适的$W$，使得$J(W)$取得最小值

  $\begin{array}{rl}J(W)& =E[(d(k)-W^{T}X(k){)}^2]=E[(d^2(k)-2W^{T}X(k)d(k)+W^{T}X(k)X^T(k)W)))]\\ & =E[d^2(k)]-2W^T{R}_{Xd}+W^T{R}_{XX}W\end{array}$

  第一项为理想输出的数学期望，为常数，不关心；

  第二项中，$R_{Xd}=E[X(k)d(k)]$为$x(k)和d(k)$的互相关矢量

  第三项中，$R_{XX}=E[X(k)X^T(k)]$为$X(k)$的自相关矩阵

  求$J(W)$的最小值，对其求导：

  令$\frac{\partial J(W)}{\partial W}=0$

  $\frac{\partial J(W)}{\partial W}{|}_{W=W^{\ast }}=-2R_{Xd}+2R_{XX}{W}^{\ast }=0$

  $W^{\ast }=R_{XX}^{-1}{R}_{Xd}$

  带入得$J(W^{\ast })=E[d^2(k)]-W^{\ast T}{R}_{Xd}$

  表面上看，如果知道了$R_{XX},R_{Xd}$，就能够求出$W^{\ast }$

  好看不好用

  问题：

  1. 在实际应用中，互相关矢量和自相关矩阵不知道
  2. 两个矩阵维数太高，不好估计
  3. 在这里面还需要求$R_{XX}^{-1}$，大矩阵求逆很困难
  4. 只对线性模型成立，对非线性模型不成立$W^{\ast }\ne R_{XX}^{-1}{R}_{Xd}$

  在实际应用中，用迭代的方式来解决。

梯度下降算法（Gradient Descent Algorithm）

• 目标函数：$J(W)=E[e^2(k)]=E[d^2(k)]-2W^T{R}_{Xd}+W^T{R}_{XX}W=E$

• 目标函数梯度：$\nabla E=\frac{\partial E}{\partial W}=-2R_{Xd}+2R_{XX}W=2R_{XX}(W-R_{XX}^{-1}{R}_{Xd})=2R_{XX}(W-W^{\ast })$

• 为了调整$W$使得$W\to W^{\ast }$，需要使KaTeX parse error: Got function '\min' with no arguments as subscript at position 10: E\rarr E_\̲m̲i̲n̲

• 权值调整思路：梯度下降法

  $E$是关于$W$的二次函数，存在一个最低点使得$E$得到最小值KaTeX parse error: Got function '\min' with no arguments as subscript at position 3: E_\̲m̲i̲n̲，通过求$E$的梯度，按照梯度增加的相反方向调整权值，就能使误差能量朝下降的方向发展。

• 梯度下降法（假设$\nabla E$已知）

  • 初始化：

    $W(0)\leftarrow$较小的数，$k\leftarrow 0$

  • 使用梯度下降法更新权重

    $W(k+1)\leftarrow W(k)+\alpha (-\nabla E)$

    $\alpha$为学习率，$0<\alpha \le 1$

  • 循环：$k\leftarrow k+1$直到收敛（判断误差能量是否足够小）

• 敛散性分析（通过分析可以得到学习率应该怎么取）

  • 误差能量的梯度为$\nabla E=2R_{XX}(W-W^{\ast })$，通过迭代使得$W(k)\stackrel{k\to \infty }{}{W}^{\ast }$

  • 证明过程：

    $\begin{array}{rl}W(k+1)-W^{\ast }=W(k)-\alpha \nabla E-W^{\ast }& =W(k)-W^{\ast }-2\alpha R_{XX}(W(k)-W^{\ast })\\ & =(I-2\alpha R_{XX})(W(k)-W^{\ast })\end{array}$

    定义$W(k)-W^{\ast }=V(k)$

    则上式可写为：

    $V(k+1)=(I-2\alpha R_{XX})V(k)$

    接下来只需要证明$V(k)\stackrel{k\to \infty }{}0$

    由于$R_{XX}$为自相关矩阵，是对称矩阵，根据其性质可以作特征值分解，即存在一个可逆矩阵$Q$，使得$Q^{-1}{R}_{XX}Q=\Lambda$

    $\therefore R_{XX}=Q\Lambda Q^{-1}$，其中$\Lambda$为对角阵，对角元素为$R_{XX}$的特征值。

    $\therefore V(k+1)=(Q{Q}^{-1}-2\alpha Q\Lambda Q^{-1})V(k)=Q(I-2\alpha \Lambda )Q^{-1}V(k)$

    $(I-2\alpha \Lambda )$为对角阵，两边同时左乘$Q^{-1}$

    $Q^{-1}V(k+1)=(I-2\alpha \Lambda )Q^{-1}V(k)$

    令$V^{\prime }(k)=Q^{-1}V(k)$，则$V^{\prime }(k+1)=(I-2\alpha \Lambda )V^{\prime }(k)$

    $\therefore V^{\prime }(1)=(I-2\alpha \Lambda )V^{\prime }(0),V^{\prime }(2)=(I-2\alpha \Lambda {)}^2{V}^{\prime }(0),...$

    $V^{\prime }(k)=(I-2\alpha \Lambda {)}^k{V}^{\prime }(0)$

    $(I-2\alpha \Lambda )$为对角阵，如果要对角阵趋近于零，要看对角矩阵中各个元素的k次方是否趋近于零

    $\Lambda =\left[\begin{array}{c}{\lambda }_{1}0\\ \ddots \\ 0{\lambda }_n\end{array}\right]$

    即要使$(1-2\alpha {\lambda }_i{)}^k\to 0,(i=1,...,n)$

    则$-1<(1-2\alpha {\lambda }_i)<1$，在这里，唯一的变量是$\alpha$，$\alpha$的条件为$0<\alpha <1/{\lambda }_i$

    要对所有的特征值都满足

    $\therefore 0<\alpha <1/ma{x}_i\{{\lambda }_i\}$

    实际情况中特征值并不好求，所以$\alpha$只能估算

LMS的随机逼近算法（Stochastic Approximation Algorithm of LMS）

• $\nabla E=2R_{XX}(W-W^{\ast })$

• $\nabla E=\frac{\partial E}{\partial W}=\frac{\partial }{\partial W}\{E[(d(k)-W^{T}X(k){)}^2]\}=-2\{E[(d(k)-W^{T}X(k))X(k)]\}=-2\{E[e(k)X(k)]\}$

• 期望本身还是没有办法求，但如果有大量的样本，可以求出大量的误差，可以用样本期望来代替

• 用一个样本来逼近：$e(k)X(k)\approx E[e(k)X(k)]$

• LMS算法：

  • 初始化：$W(0)$为很小的随机数，$k\leftarrow 0$

  • 使用随机LMS来更新权值

    $W(k+1)=W(k)+\alpha e(k)X(k)=W(k)+\alpha (d(k)-W^{T}X(k))X(k)$

    其中$\alpha$为学习率，$0<\alpha \le 1$

  • 迭代知道收敛：$k\leftarrow k+1$

• 对该算法进行分析可得到结论，算法收敛的条件是：${\sum }_k{\alpha }^2(k)<\infty ,{\sum }_k\alpha (k)\to \infty$

通常将该算法就成为LMS算法。

最速下降法（The Steepest Descent Algorithm）

• 与随即逼近算法的区别为，不用单个样本的结果代替数学期望，而是使用N个样本来计算期望：

  $\frac{1}{N}{\sum }_p{e}_p(k)X_p(k)\approx E[e(k)X(k)]$

• 这样使得梯度下降更快

• 有改进，但是计算量有增加

Madaline（Multiple Adalines）

• 多个线性单元构成的系统

应用实例

• 自适应滤波器

• 时间序列预测（天气预报）

  • 给定事时间序列$\{x(k),k=1,...,M\}$

    利用$x(t),x(t-1),...,x(t-p)$来预测$x(t+1)$

    求：$d(t)=x(t+1)$

    $x(t+1)={\sum }_{i=0}^{p-1}{a}_{i}x(t-i)+n(t)$使得$y(t)\to x(t+1)$

    从而通过$y(t)={\sum }_{i=0}^{p-1}{a}_{i}x(t-i)$预测$d(t)$

• 陷波滤波器

• 信道均衡

  手机信号源为$a(t)$，发送出来后通过信道$h(t)$得到$a_h(t)$，信道中还有信号干扰$n(t)$，最后接收到的信号为$x(t)$，设计一个自适应信道均衡器，使输出$y(t)$逼近$a(t)$。

  思路：

  用自适应滤波来实现。

  在训练阶段使用固定信号来训练滤波器，即训练阶段知道$a(t)$能收集到输出$x(t)$，就可以进行训练。