神经网络专题（二） 线性神经网络

        上一篇主要介绍了感知器的模型，并做了简单的举例。

   （一）基本原理介绍

         本篇主要介绍线性神经网络，线性神经网络是由有个或者多个线性神经元组成的网络，它和感知器的区别在于每个线性神经元的传递函数都是线性函数输出是一段区间值，而感知器的传递函数是符号函数输出为二值量-1或1。线性神经网络主要应用领域有：函数拟合与逼近、预测、模式识别等。

        线性神经网络的输出表达式为：

                                                      

         p是输出向量，y是输出值，w为权值，b是阈值或者偏置，purelin为线性传递函数为过零点斜率为1的线性函数。

         线性神经网络的学习规则采用的是LMS（least mean square，最小均方差）算法，这种学习规则的基本思想是：寻找最佳的权值和阈值，使得各个神经元的输出均方误差最小。

   （二）线性网络的创建

        下面通过MATLAB线性神经网络的工具箱介绍如何使用线性神经网络。

        使用newlind函数设计一个线性神经网络：

                                                           net=  newlind(P，T)

        newlind函数返回的是一个将输入P设计为目标输出T 的具有最小均方误差的线性网络。也就是说当我们有输入和期望输出的时候，可以用这种方式(使用newlind函数)来创建网络。

% 输入向量
P=[0 1 3 5];

% 目标输出向量
T=[3 -1 2 6];

% newlind函数设计一个线形网络
net = newlind(P,T);

% sim函数进行仿真
Y = sim(net,P)

% 仿真输出结果 
Y =

    0.5932    1.4407    3.1356    4.8305

        使用newlin函数构造一个线性神经网络：

                                                           net=  newlin(PR,S,ID,LR)

       当我们想按照自己的意愿来设计网络，比如设置神经元层数、学习率等，就可以使用newlin函数来构造一个线性网络。函数参数说明：PR为输入向量的最大和最小值它是一个2列的向量，S代表神经元层数,ID为输入延迟向量默认为[0]，LR为学习率默认为0.01。

      （三）线性网络的应用实例

             下面介绍一个自己做的一个使用线性神经网络处理图像的实例。

             在做图像压缩/编码中，应用最多是的预测编码：帧内预测和帧间预测，帧间预测多用于序列图像也就是视频编码。对于单幅图像的帧内预测编码分为线性预测和非线性预测，根据图像像素的灰度邻域相关性原理，线性预测是采用最多的方法。线性预测的基本原理就是利用待预测像素的领域像素对其进行预测，然后将实际值与预测值求差得到预测残差，通常残差回避实际值小得多，在传输过程中，只需要传输残差值，这样占据的数据流比特就会少很多，从而达到压缩的目的。这里读者只需要知道我们的目的是通过一个像素的周围像素的线性求和预测该像素得到预测值即可。

           图像在计算机里面是一个离散的矩阵，灰度图为二维的矩阵。

通过邻域像素进行预测，这里我采用了三个像素值作为预测，即：

                           

就是的预测值，残差:

                          

下面通过MATLAB程序来说明上述原理。

%% 线性预测编码的神经网络实现
   %原理：f(x,y)=w1*f(x-1,y-1)+w2*f(x-1,y)+w3*f(x,y-1)
%% 
close all;
clear ;
clc;

%% 1.读入图像
tic
InImg=imread('lena.jpg');
i1=rgb2gray(InImg);
InImg=rgb2gray(InImg);

InImg=im2double(InImg);%输入矩阵

[m,n]=size(InImg);
OutImg=zeros(m,n);    %存放输出矩阵


% figure(1)
% imshow(Img);

%% 2.数据预处理
OutImg(:,1)=InImg(:,1);
OutImg(1,:)=InImg(1,:); %输入图像第一行和列不进行预测。

delelastrowlastcol=InImg(1:255,1:255);%删除最后一行和最后一列
TranInImg1=delelastrowlastcol(:); %所有元素按（行扫描形式的）一列排放 


delelastrowfirstcol=InImg(1:255,2:end);%删除最后一行和第一列
TranInImg2=delelastrowfirstcol(:); %所有元素按（行扫描形式的）一列排放 

delefirstrowlastcol=InImg(2:end,1:255);%删除第一行和最后一列
TranInImg3=delefirstrowlastcol(:); %所有元素按（行扫描形式的）一列排放 

%  temp=zeros(65025,3);
temp=[TranInImg1,TranInImg2,TranInImg3];  %输入向量
target=InImg(2:end,2:end);              
target=target(:);                         %目标向量
together=[temp,target];                  %输入与目标
[x,z]=size(target);                      %计算行数
%% 3.构建神经网络
net=newlind(temp',target');
 

%% 4.训练后的网络权值
iw=net.iw{1,1}
b=net.b{1}

     首先是图像的读取，这里采用的是图像处理中经常用到的经典图像lena图；然后构造输出为3×1的向量表示三输入，输出为1×1的向量表示单输出向量；再然后就是通过线性神经网络求取权值和阈值。通过求取到的权值和阈值按照预测公式得到预测值，再与实际值最差得到残差，然后是传输和解码的工作了。这里主要是通过实例对线性神经网络的加深认识和应用，对图像压缩的过程与原理有兴趣的可以自行去研究，这里不再给出详细介绍。