python 最小值算法_机器学习:Python实现最小均方算法(lms)
lms算法跟Rosenblatt感知器相比，主要区别就是权值修正方法不一样。lms采用的是批量修正算法，Rosenblatt感知器使用的
是单样本修正算法。两种算法都是单层感知器，也只适用于线性可分的情况。
详细代码及说明如下：
'''
算法：最小均方算法(lms)
均方误差：样本预测输出值与实际输出值之差平方的期望值，记为MES
设:observed 为样本真值,predicted为样本预测值,则计算公式:
(转换为容易书写的方式，非数学标准写法,因为数学符号在这里不好写)
MES=[(observed[0]-pridicted[0])*(observed[0]-pridicted[0])+....
(observed[n]-pridicted[n])*(observed[n]-pridicted[n])]/n
'''
'''
变量约定：大写表示矩阵或数组，小写表示数字
X：表示数组或者矩阵
x:表示对应数组或矩阵的某个值
'''
'''
关于学习效率(也叫步长：控制着第n次迭代中作用于权值向量的调节)。(下面的参数a)：
学习效率过大：收敛速度提高，稳定性降低，即出结果快，但是结果准确性较差
学习效率过小：稳定性提高，收敛速度降低，即出结果慢，准确性高，耗费资源
对于学习效率的确定，有专门的算法，这里不做研究。仅仅按照大多数情况下的选择：折中值
'''
import numpy as np
a=0.1 ##学习率 0
X=np.array([[1,1],[1,0],[0,1],[0,0]]) ##输入矩阵
D=np.array([1,1,1,0]) ##期望输出结果矩阵
W=np.array([0,0]) ##权重向量
expect_e=0.005 ##期望误差
maxtrycount=20 ##最大尝试次数
##硬限幅函数(即标准,这个比较简单：输入v大于0，返回1.小于等于0返回-1)
'''
最后的权重为W([0.1,0.1]),则:0.1x+0.1y=0 ==>y=-x
即：分类线方程为:y=-x
'''
def sgn(v):
if v>0:
return 1
else:
return 0 ##跟上篇感知器单样本训练的-1比调整成了0，为了测试需要。-1训练不出结果
##读取实际输出
'''
这里是两个向量相乘，对应的数学公式：
a(m,n)*b(p,q)=m*p+n*q
在下面的函数中，当循环中xn=1时(此时W=([0.1,0.1]))：
np.dot(W.T,x)=(1,1)*(0.1,0.1)=1*0.1+1*0.1=0.2>0 ==>sgn 返回1
'''
def get_v(W,x):
return sgn(np.dot(W.T,x))##dot表示两个矩阵相乘
##读取误差值
def get_e(W,x,d):
return d-get_v(W,x)
##权重计算函数(批量修正)
'''
对应数学公式: w(n+1)=w(n)+a*x(n)*e
对应下列变量的解释：
w(n+1) <= neww 的返回值
w(n) <=oldw(旧的权重向量)
a <= a(学习率，范围：0
Who needs an architect?---Martin Fowler
英文及译文下载链接:http://pan.baidu.com/share/link?shareid=163291504&uk=1428554614 1.文章主题总结 首先我们从文章的几个小标题 ...
封装Socket.BeginReceive/EndReceive支持Timeout简介
.NET中的Socket类提供了网络通信常用的方法,分别提供了同步和异步两个版本,其中异步的实现是基于APM异步模式实现,即BeginXXX/EndXXX的方式.异步方法由于其非阻塞的特性,在需考虑程 ...
Linux下安装Java(JDK8)
一.文件准备 1.1 文件名称 jdk-8u121-linux-x64.tar.gz 1.2 下载地址 http://www.oracle.com/technetwork/java/javase/do ...
pycharm工具配置
灰色主题 菜单栏File --> Settins --> Appearance & Behavior --> Appearance, Theme改成Darcula,然后App ...
Session变量在PHP中的使用
PHP session 变量用于存储有关用户会话的信息,或更改用户会话的设置.Session 变量保存的信息是单一用户的,并且可供应用程序中的所有页面使用. PHP Session 变量 当您运行一个 ...
linux 僵屍进程
参考链接 : http://soft.chinabyte.com/os/5/12172005.shtml
How to reconfigure installed dpkg package (tzdata, locales)
1 List the installed dpkg package $ sudo dpkg --list 2 Reconfigure the package $ sudo dpkg-reconfigu ...