系统建模可以选取神经网络、支持矢量机等系统结构作为系统函数
V=(v1,v2,...,vn)=V(w1,w2,...,wn,x1,x2,...,xn),
其中(w1,w2,...,wn)是系统的参数空间矢量, (x1,x2,...,xn)是系统的输入空间矢量,(v1,v2,...vn)是系统的输出空间矢量。
已经有了系统函数，现在的任务就是利用先验知识训练系统参数。
有k组训练数据：
(X11,X12,...,X1n,V11,V12,...,V1n), (X21,X22,...,X2N,V21,V22,...,V2n),...,
(Xi1,Xi2,...,Xin,Vi1,Vi2,...,Vin),...,(Xk1,Xk2,...,Xkn,Vk1,Vk2,...,Vkn)
设定系统结构函数：
V=V(w1,w2,...,wn,x1,x2,...,xn)
用训练值与预测值差的平方和做为目标函数：
k
J(w1,w2,...,wn)=min ∑ ||Vi-Vi(X)||^2
i=1
k
=min∑ ||(V(w1,w2,...,wn,Xi1,Xi2,...,Xin)-(Vi1,Vi2,...,Vin)||^2
i=1
于是问题转化为搜索(w1,w2,...,wn)参数矢量空间，使得J最小。
机器学习方法的参数学习过程：
(w1,w2,...,wn)<-g( w1,w2,...,wn, (Vi-Vi(X) )，通过误差参数按一定规则调整
启发式算法参数学习过程：
rand serch (u1,u2,...,un)*,
if J(u1,u2,...,un)*<J(u1,u2,...,un),
then (u1,u2,...,un)* replace (u1,u2,...,un),
else (u1,u2,...,un)* abandomelse, repeat