证:单层感知机不能表示异或逻辑

对于 a XOR b ,其真值表为:

a b y
0
0
1
1
0
1
0
1
0
1
1
0

从数据集线性可分性的角度证明XOR逻辑是非线性的:

设数据集T为:

          
其中:
           
假设T是线性可分的,则存在超平面    对T中的4个实例正确分类


注:这里的大于小于零与y的取值无关,它与参考系有关,表示两个类别,所以也并不要求y的取值是正1和负1.
设 
对上式进行化简

四个式子相互之间是矛盾的,所以异或逻辑是非线性问题,得证。

另外,感知机的学习策咯是极小化误分类点到超平面S的总距离,即经验风险最小化。对于线性不可分数据集,由于总是存在误分类点,算法将不能够收敛。事实上,最后的迭代(随机梯度下降)将发生震荡,证明过程见Novikoff定理。

证:单层感知机不能表示异或逻辑_第1张图片

异或逻辑图像
证:单层感知机不能表示异或逻辑_第2张图片
综上所述:单层感知机不能表示异或逻辑。

参考资料:《统计学习方法》 李航



你可能感兴趣的:(机器学习)