神经网络的构建过程,图神经网络的实现

图神经网络是什么？

谷歌人工智能写作项目：神经网络伪原创

极端气温、降雨-洪水模型(BP神经网络)的建立

极端气温、降雨与洪水之间有一定的联系写作猫。

根据1958～2007年广西西江流域极端气温、极端降雨和梧州水文站洪水数据，以第5章相关分析所确定的显著影响梧州水文站年最大流量的测站的相应极端气候因素(表4.22)为输入，建立人工神经网络模型。

4.5.1.1BP神经网络概述(1)基于BP算法的多层前馈网络模型采用BP算法的多层前馈网络是至今为止应用最广泛的神经网络，在多层的前馈网的应用中，如图4.20所示的三层前馈网的应用最为普遍，其包括了输入层、隐层和输出层。

图4.20典型的三层BP神经网络结构在正向传播中，输入信息从输入层经隐含层逐层处理，并传向输出层。

如果输出层不能得到期望的输出结果，则转入反向传播，将误差信号沿原来的连同通路返回，通过修改各层神经元的权值，使得误差最小。BP算法流程如图4.21所示。

图4.21BP算法流程图容易看出，BP学习算法中，各层权值调整均由3个因素决定，即学习率、本层输出的误差信号以及本层输入信号y(或x)。

其中，输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差，而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。

1988年，Cybenko指出两个隐含层就可表示输入图形的任意输出函数。

如果BP网络只有两个隐层，且输入层、第一隐含层、第二隐层和输出层的单元个数分别为n，p，q，m，则该网络可表示为BP(n，p，q，m)。

(2)研究区极端气温、极端降雨影响年最大流量过程概化极端气温、极端降雨影响年最大流量的过程极其复杂，从极端降雨到年最大流量，中间要经过蒸散发、分流、下渗等环节，受到地形、地貌、下垫面、土壤地质以及人类活动等多种因素的影响。

可将一个极端气候-年最大流量间复杂的水过程概化为小尺度的水系统，该水系统的主要影响因子可通过对年最大流量影响显著的站点的极端气温和极端降雨体现出来，而其中影响不明显的站点可忽略，从而使问题得以简化。

BP神经网络是一个非线形系统，可用于逼近非线形映射关系，也可用于逼近一个极为复杂的函数关系。极端气候-年最大流量水系统是一个非常复杂的映射关系，可将之概化为一个系统。

BP神经网络与研究流域的极端气候-年最大流量水系统的结构是相似的，利用BP神经网络，对之进行模拟逼近。

(3)隐含层单元数的确定隐含层单元数q与所研究的具体问题有关，目前尚无统一的确定方法，通常根据网络训练情况采用试错法确定。

在训练中网络的收敛采用输出值Ykp与实测值tp的误差平方和进行控制变环境条件下的水资源保护与可持续利用研究作者认为，虽然现今的BP神经网络还是一个黑箱模型，其参数没有水文物理意义，在本节的研究过程中，将尝试着利用极端气候空间分析的结果来指导隐含层神经元个数的选取。

(4)传递函数的选择BP神经网络模型算法存在需要较长的训练时间、完全不能训练、易陷入局部极小值等缺点，可通过对模型附加动量项或设置自适应学习速率来改良。

本节采用MATLAB工具箱中带有自适应学习速率进行反向传播训练的traingdm(　)函数来实现。

(5)模型数据的归一化处理由于BP网络的输入层物理量及数值相差甚远，为了加快网络收敛的速度，使网络在训练过程中易于收敛，对输入数据进行归一化处理，即将输入的原始数据都化为0～1之间的数。

本节将年极端最高气温的数据乘以0.01;将极端最低气温的数据乘以0.1;年最大1d、3d、7d降雨量的数据乘以0.001;梧州水文站年最大流量的数据乘以0.00001，其他输入数据也按类似的方法进行归一化处理。

(6)年最大流量的修正梧州水文站以上的流域集水面积为32.70万km2，广西境内流域集水面积为20.24万km2，广西境内流域集水面积占梧州水文站以上的流域集水面积的61.91%。

因此，选取2003～2007年梧州水文站年最大流量和红水河的天峨水文站年最大流量，分别按式4.10计算每年的贡献率(表4.25)，取其平均值作为广西西江流域极端降雨对梧州水文站年最大流量的平均贡献率，最后确定平均贡献率为76.88%。

变环境条件下的水资源保护与可持续利用研究表4.252003～2007年极端降雨对梧州水文站年最大流量的贡献率建立“年极端气温、降雨与梧州年最大流量模型”时，应把平均贡献率与梧州水文站年最大流量的乘积作为模型输入的修正年最大流量，而预测的年最大流量应该为输出的年最大流量除以平均贡献率76.88%，以克服极端气温和降雨研究范围与梧州水文站集水面积不一致的问题。

4.5.1.2年极端气温、年最大1d降雨与梧州年最大流量的BP神经网络模型(1)模型的建立以1958～1997年年极端最高气温、年极端最低气温、年最大1d降雨量与梧州水文站年最大流量作为学习样本拟合、建立“年极端气温、年最大1d降雨-梧州年最大流量BP神经网络模型”。

以梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，榜圩、马陇、三门、黄冕、沙街、勾滩、天河、百寿、河池、贵港、金田、平南、大化、桂林、修仁、五将雨量站的年最大1d降雨量为输入，梧州水文站年最大流量为输出，隐含层层数取2，建立(19，p，q，1)BP神经网络模型，其中神经元数目p，q经试算分别取16和3，第一隐层、第二隐层的神经元采用tansig传递函数，输出层的神经元采用线性传递函数，训练函数选用traingdm，学习率取0.1，动量项取0.9，目标取0.0001，最大训练次数取200000。

BP网络模型参数见表4.26，结构如图4.22所示。

图4.22年极端气温、年最大1d降雨-梧州年最大流量BP模型结构图表4.26BP网络模型参数一览表从结构上分析，梧州水文站年最大流量产生过程中，年最高气温、年最低气温和各支流相应的流量都有其阈值，而极端气温和极端降雨是其输入，年最大流量是其输出，这类似于人工神经元模型中的阈值、激活值、输出等器件。

输入年最大1d降雨时选用的雨量站分布在14条支流上(表4.27)，极端降雨发生后，流经14条支流汇入梧州，在这一过程中极端气温的变化影响极端降雨的蒸散发，选用的雨量站分布在年最大1d降雨四个自然分区的Ⅱ、Ⅲ、Ⅳ3个区。

该过程可与BP神经网络结构进行类比(表4.28)，其中，14条支流相当于第一隐含层中的14个神经元，年最高气温和年最低气温相当于第一隐含层中的2个神经元，年最大1d降雨所在的3个分区相当于第二隐含层的3个神经元，年最高气温、年最低气温的影响值和各支流流量的奉献值相当于隐含层中人工神经元的阈值，从整体上来说，BP神经网络的结构已经灰箱化。

表4.27选用雨量站所在支流一览表表4.28BP神经网络构件物理意义一览表(2)训练效果分析训练样本为40个，经过113617次训练，达到精度要求。

在命令窗口执行运行命令，网络开始学习和训练，其训练过程如图4.23所示，训练结果见表4.29和图4.24。

表4.29年最大流量训练结果图4.23神经网络训练过程图图4.24年最大流量神经网络模型训练结果从图4.26可知，训练后的BP网络能较好地逼近给定的目标函数。

从训练样本检验结果(表4.5)可得:1958～1997年40年中年最大流量模拟值与实测值的相对误差小于10%和20%的分别为39年，40年，合格率为100%。

说明“年极端气温、年最大1d降雨-梧州年最大流量预测模型”的实际输出与实测结果误差很小，该模型的泛化能力较好，模拟结果较可靠。

(3)模型预测检验把1998～2007年梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，榜圩、马陇、三门、黄冕、沙街、勾滩、天河、百寿、河池、贵港、金田、平南、大化、桂林、修仁、五将雨量站的年最大1d降雨量输入到“年极端气温、年最大1d降雨梧州年最大流量BP神经网络模型”。

程序运行后网络输出预测值与已知的实际值进行比较，其预测检验结果见图4.25，表4.30。

图4.25年最大流量神经网络模型预测检验结果表4.30神经网络模型预测结果与实际结果比较从预测检验结果可知:1998～2007年10年中年最大流量模拟值与实测值的相对误差小于20%的为9年，合格率为90%，效果较好。

4.5.1.3年极端气温、年最大7d降雨与梧州年最大流量的BP神经网络模型(1)模型的建立以1958～1997年年极端最高气温、年极端最低气温、年最大7d降雨量和梧州水文站年最大流量作为学习样本来拟合、建立“年极端气温、年最大7d降雨-梧州年最大流量BP神经网络模型”。

以梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，凤山、都安、马陇、沙街、大湟江口、大安、大化、阳朔、五将雨量站的年最大7d降雨量为输入，梧州水文站年最大流量为输出，隐含层层数取2，建立(12，p，q，1)BP神经网络模型，其中，神经元数目p，q经试算分别取10和4，第一隐层、第二隐层的神经元采用tansig传递函数，输出层的神经元采用线性传递函数，训练函数选用traingdm，学习率取0.1，动量项取0.9，目标取0.0001，最大训练次数取200000。

BP网络模型参数见表4.31，结构如图4.26所示。

表4.31BP网络模型参数一览表图4.26年极端气温、年最大7d降雨-梧州年最大流量BP模型结构图本节输入年最大7d降雨时选用的雨量站分布在8条支流上(表4.32)，在发生极端降雨后，流经8条支流汇入梧州，在这一过程中极端气温的变化影响极端降雨的蒸散发，且选用的雨量站分布在年最大7d降雨四个自然分区的Ⅰ、Ⅱ、Ⅲ、Ⅳ4个区中。

该过程可与BP神经网络结构进行类比(表4.33)，其中，8条支流相当于第一隐含层中的8个神经元，年最高气温和年最低气温相当于第一隐含层中的2个神经元，年最大7d降雨所在的4个分区相当于第二隐含层的4个神经元，整体上来说，BP神经网络的结构已经灰箱化。

表4.32选用雨量站所在支流一览表表4.33BP神经网络构件物理意义一览表(2)训练效果分析训练样本为40个，经过160876次的训练，达到精度要求，在命令窗口执行运行命令，网络开始学习和训练，其训练过程如图4.27所示，训练结果见表4.34，图4.28。

图4.27神经网络训练过程图表4.34年最大流量训练结果图4.28年最大流量神经网络模型训练结果从图4.28可知，训练后的BP网络能较好地逼近给定的目标函数。

由训练样本检验结果(表4.34)可得:1958～1997年40年中年最大流量模拟值与实测值的相对误差小于10%和20%的，分别为38年、40年，合格率为100%。

说明“年极端气温、年最大7d降雨-梧州年最大流量BP神经网络模型”的泛化能力较好，模拟的结果较可靠。

(3)模型预测检验把1998～2007年梧州气象站的年极端最高气温，桂林、钦州气象站的年极端最低气温，凤山、都安、马陇、沙街、大湟江口、大安、大化、阳朔、五将雨量站的年最大7d降雨量输入到“年极端气温、年最大7d降雨-梧州年最大流量BP神经网络模型”。

程序运行后网络输出预测值与已知的实际值进行比较，其预测结果见图4.29和表4.35。

图4.29年最大流量神经网络模型预测检验结果表4.35神经网络模型预测结果与实际结果比较由预测检验结果可知:1998～2007年10年中年最大流量模拟值与实测值的相对误差小于20%的为7年，合格率为70%，效果较好。

4.5.1.4梧州年最大流量-年最高水位的BP神经网络模型(1)模型的建立以1941～1997年梧州水文站的年最大流量与年最高水位作为学习样本来拟合、建立梧州水文站的“年最大流量-年最高水位BP神经网络模型”。

以年最大流量为输入，年最高水位为输出，隐含层层数取1，建立(1，q，1)BP神经网络模型，其中，神经元数目q经试算取7，隐含层、输出层的神经元采用线性传递函数，训练函数选用traingdm，学习率取0.1，动量项取0.9，目标取0.00001，最大训练次数取200000。

BP网络模型参数见表4.36，结构如图4.30所示。

表4.36BP网络模型参数一览表图4.30梧州年最大流量—年最高水位BP模型结构图广西西江流域主要河流有南盘江、红水河、黔浔江、郁江、柳江、桂江、贺江。

7条主要河流相当于隐含层中的7个神经元(表4.37)，整体上来说，BP神经网络的结构已经灰箱化。

表4.37BP神经网络构件物理意义一览表(2)训练效果分析训练样本为57个，经过3327次训练，误差下降梯度已达到最小值，但误差为3.00605×10-5，未达到精度要求。

在命令窗口执行运行命令，网络开始学习和训练，其训练过程如图4.31所示，训练结果见图4.32和表4.38。

表4.38年最高水位训练结果从图4.32和表4.19可看出，训练后的BP网络能较好地逼近给定的目标函数。

对于训练样本，从检验结果可知:1941～1997年57年中年最高水位模拟值与实测值的相对误差小于10%和20%的分别为56a，57a，合格率为100%。

说明“年最大流量-年最高水位BP神经网络模型”的实际输出与实测结果误差很小，该模型的泛化能力较好，模拟的结果比较可靠。

图4.31神经网络训练过程图图4.32年最高水位神经网络模型训练结果(3)模型预测检验把1998～2007年梧州水文站年最大流量输入到“年最大流量-年最高水位BP神经网络模型”。

程序运行后网络输出预测值与已知的实际值进行比较，其预测结果见图4.33，表4.39。

表4.39神经网络模型预测结果与实际结果比较从预测检验结果可知:1998～2007年10年中，年最高水位模拟值与实测值的相对误差小于20%的为10年，合格率为100%，效果较好。

图4.33年最高水位量神经网络模型预测检验结果。

伤寒、副伤寒流行预测模型（BP神经网络）的建立

由于目前研究的各种数学模型或多或少存在使用条件的局限性，或使用方法的复杂性等问题，预测效果均不十分理想，距离实际应用仍有较大差距。

NNT是Matlab中较为重要的一个工具箱，在实际应用中，BP网络用的最广泛。

神经网络具有综合能力强，对数据的要求不高，适时学习等突出优点，其操作简便，节省时间，网络初学者即使不了解其算法的本质，也可以直接应用功能丰富的函数来实现自己的目的。

因此，易于被基层单位预防工作者掌握和应用。

以下几个问题是建立理想的因素与疾病之间的神经网络模型的关键：（1）资料选取应尽可能地选取所研究地区系统连续的因素与疾病资料，最好包括有疾病高发年和疾病低发年的数据。

在收集影响因素时，要抓住主要影响伤寒、副伤寒的发病因素。

（2）疾病发病率分级神经网络预测法是按发病率高低来进行预测，在定义发病率等级时，要结合专业知识及当地情况而定，并根据网络学习训练效果而适时调整，以使网络学习训练达到最佳效果。

（3）资料处理问题在实践中发现，资料的特征往往很大程度地影响网络学习和训练的稳定性，因此，数据的应用、纳入、排出问题有待于进一步研究。

6.3.1人工神经网络的基本原理人工神经网络（ANN）是近年来发展起来的十分热门的交叉学科，它涉及生物、电子、计算机、数学和物理等学科，有着广泛的应用领域。

人工神经网络是一种自适应的高度非线性动力系统，在网络计算的基础上，经过多次重复组合，能够完成多维空间的映射任务。

神经网络通过内部连接的自组织结构，具有对数据的高度自适应能力，由计算机直接从实例中学习获取知识，探求解决问题的方法，自动建立起复杂系统的控制规律及其认知模型。

人工神经网络就其结构而言，一般包括输入层、隐含层和输出层，不同的神经网络可以有不同的隐含层数，但他们都只有一层输入和一层输出。

神经网络的各层又由不同数目的神经元组成，各层神经元数目随解决问题的不同而有不同的神经元个数。

6.3.2BP神经网络模型BP网络是在1985年由PDP小组提出的反向传播算法的基础上发展起来的，是一种多层次反馈型网络（图6.17），它在输入和输出之间采用多层映射方式，网络按层排列，只有相邻层的节点直接相互连接，传递之间信息。

在正向传播中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元的状态只影响下一层神经元的状态。

如果输出层不能得到期望的输出结果，则转入反向传播，将误差信号沿原来的连同通路返回，通过修改各层神经元的权值，使误差信号最小。

BP网络的学习算法步骤如下（图6.18）：图6.17BP神经网络示意图图6.18BP算法流程图第一步：设置初始参数ω和θ，（ω为初始权重，θ为临界值，均随机设为较小的数）。

第二步：将已知的样本加到网络上，利用下式可算出他们的输出值yi，其值为岩溶地区地下水与环境的特殊性研究式中：xi为该节点的输入；ωij为从I到j的联接权；θj为临界值；yj为实际算出的输出数据。

第三步：将已知输出数据与上面算出的输出数据之差（dj-yj）调整权系数ω，调整量为ΔWij=ηδjxj式中：η为比例系数；xj为在隐节点为网络输入，在输出点则为下层（隐）节点的输出（j=1，2…，n）；dj为已知的输出数据（学习样本训练数据）；δj为一个与输出偏差相关的值，对于输出节点来说有δj=ηj（1-yj）（dj-yj）对于隐节点来说，由于它的输出无法进行比较，所以经过反向逐层计算有岩溶地区地下水与环境的特殊性研究其中k指要把上层（输出层）节点取遍。

误差δj是从输出层反向逐层计算的。各神经元的权值调整后为ωij（t）=ωij（t-1）+Vωij式中：t为学习次数。

这个算法是一个迭代过程，每一轮将各W值调整一遍，这样一直迭代下去，知道输出误差小于某一允许值为止，这样一个好的网络就训练成功了，BP算法从本质上讲是把一组样本的输入输出问题变为一个非线性优化问题，它使用了优化技术中最普遍的一种梯度下降算法，用迭代运算求解权值相当于学习记忆问题。

6.3.3BP神经网络模型在伤寒、副伤寒流行与传播预测中的应用伤寒、副伤寒的传播与流行同环境之间有着一定的联系。

根据桂林市1990年以来乡镇为单位的伤寒、副伤寒疫情资料，伤寒、副伤寒疫源地资料，结合现有资源与环境背景资料（桂林市行政区划、土壤、气候等）和社会经济资料（经济、人口、生活习惯等统计资料）建立人工神经网络数学模型，来逼近这种规律。

6.3.3.1模型建立（1）神经网络的BP算法BP网络是一种前馈型网络，由1个输入层、若干隐含层和1个输出层构成。

如果输入层、隐含层和输出层的单元个数分别为n，q1，q2，m，则该三层网络网络可表示为BP（n，q1，q2，m），利用该网络可实现n维输入向量Xn=（X1，X2，…，Xn）T到m维输出向量Ym=（Y1，Y2，…，Ym）T的非线性映射。

输入层和输出层的单元数n，m根据具体问题确定。

（2）样本的选取将模型的输入变量设计为平均温度、平均降雨量、岩石性质、岩溶发育、地下水类型、饮用水类型、正规自来水供应比例、集中供水比例8个输入因子（表6.29），输出单元为伤寒副伤寒的发病率等级，共一个输出单元。

其中q1，q2的值根据训练结果进行选择。表6.29桂林市伤寒副伤寒影响因素量化表通过分析，选取在伤寒副伤寒有代表性的县镇在1994～2001年的环境参评因子作为样本进行训练。

利用聚类分析法对疫情进行聚类分级（Ⅰ、Ⅱ、Ⅲ、Ⅳ），伤寒副伤寒发病最高级为Ⅳ（BP网络中输出定为4），次之的为Ⅲ（BP网络中输出定为3），以此类推，最低为Ⅰ（BP网络中输出定为1）（3）数据的归一化处理为使网络在训练过程中易于收敛，我们对输入数据进行了归一化处理，并将输入的原始数据都化为0～1之间的数。

如将平均降雨量的数据乘以0.0001；将平均气温的数据乘以0.01；其他输入数据也按类似的方法进行归一化处理。

（4）模型的算法过程假设共有P个训练样本，输入的第p个（p=1，2，…，P）训练样本信息首先向前传播到隐含单元上。

经过激活函数f（u）的作用得到隐含层1的输出信息：岩溶地区地下水与环境的特殊性研究经过激活函数f（u）的作用得到隐含层2的输出信息：岩溶地区地下水与环境的特殊性研究激活函数f（u）我们这里采用Sigmoid型，即f（u）=1/[1+exp（-u）]（6.5）隐含层的输出信息传到输出层，可得到最终输出结果为岩溶地区地下水与环境的特殊性研究以上过程为网络学习的信息正向传播过程。

另一个过程为误差反向传播过程。

如果网络输出与期望输出间存在误差，则将误差反向传播，利用下式来调节网络权重和阈值：岩溶地区地下水与环境的特殊性研究式中：Δω（t）为t次训练时权重和阈值的修正；η称为学习速率，0＜η＜1；E为误差平方和。

岩溶地区地下水与环境的特殊性研究反复运用以上两个过程，直至网络输出与期望输出间的误差满足一定的要求。该模型算法的缺点：1）需要较长的训练时间。

由于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。2）完全不能训练。

主要表现在网络出现的麻痹现象上，在网络的训练过程中，当其权值调的过大，可能使得所有的或大部分神经元的加权总和n偏大，这使得激活函数的输入工作在S型转移函数的饱和区，从而导致其导数f′（n）非常小，从而使得对网络权值的调节过程几乎停顿下来。

3）局部极小值。BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。

这是因为BP算法采用的是梯度下降法，训练从某一起点沿误差函数的斜面逐渐达到误差的最小值。

考虑到以上算法的缺点，对模型进行了两方面的改进：（1）附加动量法为了避免陷入局部极小值，对模型进行了改进，应用了附加动量法。

附加动量法在使网络修正及其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特性。

在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用则有可能滑过这些极小值。

该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生心的权值变化。

促使权值的调节向着误差曲面底部的平均方向变化，从而防止了如Δω（t）=0的出现，有助于使网络从误差曲面的局部极小值中跳出。

这种方法主要是把式（6.7）改进为岩溶地区地下水与环境的特殊性研究式中：A为训练次数；a为动量因子，一般取0.95左右。

训练中对采用动量法的判断条件为岩溶地区地下水与环境的特殊性研究（2）自适应学习速率对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。

通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。

所以，为了尽量缩短网络所需的训练时间，采用了学习速率随着训练变化的方法来找到相对于每一时刻来说较差的学习速率。

下式给出了一种自适应学习速率的调整公式：岩溶地区地下水与环境的特殊性研究通过以上两个方面的改进，训练了一个比较理想的网络，将动量法和自适应学习速率结合起来，效果要比单独使用要好得多。

6.3.3.2模型的求解与预测采用包含了2个隐含层的神经网络BP（4，q1，q2，1），隐含层单元数q1，q2与所研究的具体问题有关，目前尚无统一的确定方法，通常根据网络训练情况采用试错法确定。

在满足一定的精度要求下一般认小的数值，以改善网络的概括推论能力。

在训练中网络的收敛采用输出值Ykp与实测值tp的误差平方和进行控制：岩溶地区地下水与环境的特殊性研究1）将附加动量法和自适应学习速率结合应用，分析桂林市36个乡镇地质条件各因素对伤寒副伤寒发病等级的影响。

因此训练样本为36个，第一个隐含层有19个神经元，第二个隐含层有11个神经元，学习速率为0.001。A.程序（略）。B.网络训练。

在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.19）。图6.19神经网络训练过程图C.模型预测。

a.输入未参与训练的乡镇（洞井乡、两水乡、延东乡、四塘乡、严关镇、灵田乡）地质条件数据。b.预测。程序运行后网络输出预测值a3，与已知的实际值进行比较，其预测结果整理后见（表6.30）。

经计算，对6个乡镇伤寒副伤寒发病等级的预测符合率为83.3%。表6.30神经网络模型预测结果与实际结果比较c.地质条件改进方案。

在影响疾病发生的地质条件中，大部分地质条件是不会变化的，而改变发病地区的饮用水类型是可以人为地通过改良措施加以实施的一个因素。

因此，以灵田乡为例对发病率较高的乡镇进行分析，改变其饮用水类型，来看发病等级的变化情况。

表6.31显示，在其他地质条件因素不变的情况下，改变当地的地下水类型（从原来的岩溶水类型改变成基岩裂隙水）则将发病等级从原来的最高级4级，下降为较低的2级，效果是十分明显的。

因此，今后在进行伤寒副伤寒疾病防治的时候，可以通过改变高发区饮用水类型来客观上减少疫情的发生。

表6.31灵田乡改变饮用水类型前后的预测结果2）选取桂林地区1994～2000年月平均降雨量、月平均温度作为输入数据矩阵，进行样本训练，设定不同的隐含层单元数，对各月份的数据进行BP网络训练。

在隐含层单元数q1=13，q2=9，经过46383次数的训练，误差达到精度要求，学习速率0.02。A.附加动量法程序（略）。B.网络训练。

在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.20）。C.模型预测。a.输入桂林市2001年1～12月桂林市各月份的平均气温和平均降雨量。预测程度（略）。b.预测。

程序运行后网络输出预测值a2，与已知的实际值进行比较，其预测结果整理后见（表6.32）。经计算，对2001年1～12月伤寒副伤寒发病等级进行预测，12个预测结果中，有9个符合，符合率为75%。

图6.20神经网络训练过程图表6.32神经网络模型预测结果与实际值比较6.3.3.3模型的评价本研究采用BP神经网络对伤寒、副伤寒发病率等级进行定量预测，一方面引用数量化理论对不确定因素进行量化处理；另一方面利用神经网络优点，充分考虑各影响因素与发病率之间的非线性映射。

实际应用表明，神经网络定量预测伤寒、副伤寒发病率是理想的。其主要优点有：1）避免了模糊或不确定因素的分析工作和具体数学模型的建立工作。2）完成了输入和输出之间复杂的非线性映射关系。

3）采用自适应的信息处理方式，有效减少人为的主观臆断性。虽然如此，但仍存在以下缺点：1）学习算法的收敛速度慢，通常需要上千次或更多，训练时间长。2）从数学上看，BP算法有可能存在局部极小问题。

本模型具有广泛的应用范围，可以应用在很多领域。从上面的结果可以看出，实际和网络学习数据总体较为接近，演化趋势也基本一致。

说明选定的气象因子、地质条件因素为神经单元获得的伤寒、副伤寒发病等级与实际等级比较接近，从而证明伤寒、副伤寒流行与地理因素的确存在较密切的相关性。

超大规模图神经网络系统真的可以实现赋予机器常识吗？

机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。

机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。从学习方式来讲，机器学习包括监督式学习、非监督式学习、半监督式学习和强化学习。

以算法来分类，则有回归算法、基于实例的算法、正则化方法、决策树学习、贝叶斯方法、基于核的算法、聚类算法、关联规则学习、遗传算法、人工神经网络、深度学习、降低维度算法和集成算法。

因此，深度学习又是机器学习的分支。深度学习是一种以人工神经网络为架构，对数据进行表征学习的算法。

如今，单纯的深度学习已经成熟，结合了深度学习的图神经网络将端到端学习与归纳推理相结合，有望解决深度学习无法处理的关系推理、可解释性等一系列问题。

强大的图神经网络将会类似于由神经元等节点所形成网络的人的大脑，机器有望成为具备常识，具有理解、认知能力的AI。

机器阅读和理解人类语言比尔·盖茨曾经发表过对人工智能的一些看法，他认为人工智能会有惊人的影响，并且大多都是好的。比如帮助学生，帮助查看分析图像，帮助我们了解发生了什么。

同时他也提出，人工智能还有一件事还不能实现，而一旦实现，将帮助人们解决更多的难题，这一点就是：阅读。

“所有相关的公司都在努力实现这一点，比如有一本生物学的书，人工智能会不会阅读它，然后通过考试或者操作一项实验。

这是最后一个难题，目前视力问题解决了，语言能力也不错，甚至翻译也很好，现在我们都在攻克阅读问题。一旦有了阅读能力，就可以帮助科学发明，这将会非常了不起，可以更好地帮助人们解决问题。

人工智能势头很猛，发展比我们预期的更快，像那场围棋比赛的结果，就是一个惊人的里程碑。”是的，让机器正确理解人类知识和语言的技术比起图片和声音识别技术来说更加困难。

一是因为人类语言的“余地”，语言作为一种表达方式，是非常偏向于模糊和不确定的。

二是因为人类语言会因环境变化而变化，对它的理解多数是通过当时情境的作用，而这一点又让语言理解的复杂程度加倍，机器是难以标记和模拟相关环境的。

尽管互联网上已经包含了足够多的语言文字信息，我们还是无法以机器能够理解的形式将这些信息真正传递给它们。

因此，比尔·盖茨认为让机器学会阅读和理解人类语言是一个里程碑式事件，而微软、谷歌、Facebook和IBM等公司也在发力机器学习阅读理解能力。

从某种意义上来讲，我的理解是，机器阅读人类语言应该也是从弱人工智能到强人工智能跨越的标志之一。机器理解和创造自己随着越来越多的这类技术变得成熟，机器将会在各种各样的任务上超越人类。

那么，机器是否可以理解自己呢？甚至机器是否可以设计和编码自己本身呢？可以想象一下，一旦机器做到这一步，那将会带来什么样的颠覆。

GoogleBrain团队在探索这个领域，他们称之为“自动机器学习”方向。顶尖的人工智能专家们发现，设计机器学习系统本身这样一个他们最困难的工作之一，也有可能通过AI系统自动完成。

甚至在一些场景下，AI系统自己开发的AI系统已经赶上甚至超过了人类专家。

国外著名科技记者StevenLevy在他刊于BackChannel的文章《谷歌如何将自己重塑为一家“机器学习为先”的公司》中提到，谷歌大脑负责人JeffDean表示，如果现在让他改写谷歌的基础设施，大部分代码都不会由人编码，而将由机器学习自动生成。

学术界也有相关研究，伯克利的KeLi和JitendraMalik在他们日前提交的论文《LearningtoOptimize》中提出了让算法自我优化的方法。

他们在论文摘要中写道，“算法设计是一个费力的过程，通常需要许多迭代的思想和验证。在本文中，我们探讨自动化算法设计，并提出了一种方法学习自动优化算法”。

从强化学习的角度入手，KeLi和JitendraMalik使用指导性策略搜索来让AI学习优化算法，并且证明了他们所设计的算法在收敛速度和/或最终目标值方面优于现有的手工编程开发的算法。

怎样用python构建一个卷积神经网络

用keras框架较为方便首先安装anaconda，然后通过pip安装keras以下转自wphh的博客。

#coding:utf-8'''    GPU run command:        THEANO_FLAGS=mode=FAST_RUN,device=gpu,floatX=float32 python     CPU run command:        python 2016.06.06更新：这份代码是keras开发初期写的，当时keras还没有现在这么流行，文档也还没那么丰富，所以我当时写了一些简单的教程。

现在keras的API也发生了一些的变化，建议及推荐直接上看更加详细的教程。

'''#导入各种用到的模块组件from __future__ import absolute_importfrom __future__ import print_functionfrom keras.preprocessing.image import ImageDataGeneratorfrom keras.models import Sequentialfrom  import Dense, Dropout, Activation, Flattenfrom keras.layers.advanced_activations import PReLUfrom keras.layers.convolutional import Convolution2D, MaxPooling2Dfrom keras.optimizers import SGD, Adadelta, Adagradfrom keras.utils import np_utils, generic_utilsfrom six.moves import rangefrom data import load_dataimport randomimport numpy as np(1024)  # for reproducibility#加载数据data, label = load_data()#打乱数据index = [i for i in range(len(data))]random.shuffle(index)data = data[index]label = label[index]print(data.shape[0], ' samples')#label为0~9共10个类别，keras要求格式为binary class matrices,转化一下，直接调用keras提供的这个函数label = np_utils.to_categorical(label, 10)################开始建立CNN模型################生成一个modelmodel = Sequential()#第一个卷积层，4个卷积核，每个卷积核大小5*5。

1表示输入的图片的通道,灰度图为1通道。

#border_mode可以是valid或者full，具体看这里说明：.conv2d#激活函数用tanh#你还可以在(Activation('tanh'))后加上dropout的技巧: (Dropout(0.5))(Convolution2D(4, 5, 5, border_mode='valid',input_shape=(1,28,28))) (Activation('tanh'))#第二个卷积层，8个卷积核，每个卷积核大小3*3。

4表示输入的特征图个数，等于上一层的卷积核个数#激活函数用tanh#采用maxpooling，poolsize为(2,2)(Convolution2D(8, 3, 3, border_mode='valid'))(Activation('tanh'))(MaxPooling2D(pool_size=(2, 2)))#第三个卷积层，16个卷积核，每个卷积核大小3*3#激活函数用tanh#采用maxpooling，poolsize为(2,2)(Convolution2D(16, 3, 3, border_mode='valid')) (Activation('relu'))(MaxPooling2D(pool_size=(2, 2)))#全连接层，先将前一层输出的二维特征图flatten为一维的。

#Dense就是隐藏层。16就是上一层输出的特征图个数。

4是根据每个卷积层计算出来的：(28-5+1)得到24,(24-3+1)/2得到11，(11-3+1)/2得到4#全连接有128个神经元节点,初始化方式为normal(Flatten())(Dense(128, init='normal'))(Activation('tanh'))#Softmax分类，输出是10类别(Dense(10, init='normal'))(Activation('softmax'))##############开始训练模型###############使用SGD + momentum#model.compile里的参数loss就是损失函数(目标函数)sgd = SGD(lr=0.05, decay=1e-6, momentum=0.9, nesterov=True)model.compile(loss='categorical_crossentropy', optimizer=sgd,metrics=["accuracy"])#调用fit方法，就是一个训练过程. 训练的epoch数设为10，batch_size为100．#数据经过随机打乱shuffle=True。

verbose=1，训练过程中输出的信息，0、1、2三种方式都可以，无关紧要。show_accuracy=True，训练时每一个epoch都输出accuracy。

#validation_split=0.2，将20%的数据作为验证集。

(data, label, batch_size=100, nb_epoch=10,shuffle=True,verbose=1,validation_split=0.2)"""#使用data augmentation的方法#一些参数和调用的方法，请看文档datagen = ImageDataGenerator(        featurewise_center=True, # set input mean to 0 over the dataset        samplewise_center=False, # set each sample mean to 0        featurewise_std_normalization=True, # divide inputs by std of the dataset        samplewise_std_normalization=False, # divide each input by its std        zca_whitening=False, # apply ZCA whitening        rotation_range=20, # randomly rotate images in the range (degrees, 0 to 180)        width_shift_range=0.2, # randomly shift images horizontally (fraction of total width)        height_shift_range=0.2, # randomly shift images vertically (fraction of total height)        horizontal_flip=True, # randomly flip images        vertical_flip=False) # randomly flip images# compute quantities required for featurewise normalization # (std, mean, and principal components if ZCA whitening is applied)(data)for e in range(nb_epoch):    print('-'*40)    print('Epoch', e)    print('-'*40)    print("Training...")    # batch train with realtime data augmentation    progbar = generic_utils.Progbar(data.shape[0])    for X_batch, Y_batch in (data, label):        loss,accuracy = model.train(X_batch, Y_batch,accuracy=True)        (X_batch.shape[0], values=[("train loss", loss),("accuracy:", accuracy)] )"""。

rbf神经网络算法流程图