统计学习方法-第二章课后习题答案整理

2.1Minsky和Papert指出：
感知机因为是线性模型，
所以不能表示复杂的函数，如异或。
验证感知机为什么不能表示异或
参考链接：
https://blog.csdn.net/yangfeisc/article/details/45486067

2.2，换下数据即可，具体代码实现参考：
https://blog.csdn.net/appleyuchi/article/details/82928881

2.3
样本集线性可分的充分必要条件是：
正实例点集构成的凸壳与负实例点集所构成的凸壳互不相交

首先是概念：
这里的凸壳≠凸集。
“相交”的意思是：一个样本点，既属于凸壳A，也属于凸壳B，
也就是说，某个样本点同时满足两个集合的约束条件。

凸壳到底是一个什么鬼？？？？？
看下面的初中数学课件回顾一下：

证明如下：

必要性：线性可分->凸壳不相交

设数据集T中的正例点集为$S_{+}$，
$S_{+}$的凸壳为$conv(S_{+})$，
负实例点集为$S_{-}$，
$S_{-}$的凸壳为$conv(S_{-})$，
若T是线性可分的，则存在一个超平面:$w\cdot x+b=0$能够将$S_{+}$和$S_{-}$
完全分离。
假设对于所有的正例点$x_i$，有:
$w\cdot x_i+b={\epsilon }_i$易知${\epsilon }_i>0,i=1,2,\cdots ,|S_{+}|$。
若$conv(S_{+})$和$conv(S_{-})$相交，即存在某个元素s，
同时满足$s\in conv(S_{+})和s\in conv(S_{-})$。
对于$conv(S_{+})$中的元素$s^{+}$
有$$w\cdot s^{+}=w\cdot \sum _{i=1}^k{\lambda }_i{x}_i=\sum _{i=1}^k{\lambda }_i({\epsilon }_i-b)=\sum _{i=1}^k({\lambda }_i{\epsilon }_i-b{\lambda }_i)$$
注意，这里因为凸壳（convex hull）的性质，有：
${\sum }_{i=1}^k{\lambda }_i=1$
所以上面的结果是：
$$\sum _{i=1}^k({\lambda }_i{\epsilon }_i)-b$$

因此$w\cdot s^{+}+b={\sum }_{i=1}^k{\lambda }_i{\epsilon }_i>0$，
同理对于$S_{-}$中的元素$s^{-}$有
$w\cdot s^{-}+b={\sum }_{i=1}^k{\lambda }_i{\epsilon }_i<0$，

线性可分条件下，假设两个凸壳相交，那么存在样本点s同时满足
$s\in conv(S_{+})$且$s\in conv(S_{-})$
则$w\cdot s^{+}+b=w\cdot s+b={\sum }_{i=1}^k{\lambda }_i{\epsilon }_i>0①$
且$w\cdot s^{-}+b=w\cdot s+b={\sum }_{i=1}^k{\lambda }_i{\epsilon }_i>0②$
②违反了假设的前提：线性可分。
因为线性可分时，必须有②＜0
所以假设不成立，因此$conv(S_{+})$和$conv(S_{-})$必不相交
从而推出必要性：线性可分->凸壳不相交

---

充分性：凸壳不相交->线性可分

设数据集T中的正例点集为$S_{+}，S_{+}$的凸壳为$conv(S_{+})$，负实例点集为$S_{-}，S_{-}$的凸壳为$conv(S_{-})，且conv(S_{+})与conv(S_{-})$不相交，
定义两个点$x_1,x_2$的距离为
$dist(x_1,x_2)=||x_1-x_2|{|}_2=\sqrt{(x_1-x_2)\cdot (x_1-x_2)}$
定义$conv(S_{+})与conv(S_{-})$的距离为，
$dist(conv(S_{+}),conv(S_{-}))=\min ||s_{+}-s_{-}||，s_{+}\in conv(S_{+}),s_{-}\in conv(S_{-})$

设$x_{+}\in conv(S_{+})，x_{-}\in conv(S_{-})$且$dist(x_{+},x_{-})=dist(conv(S_{+}),conv(S_{-}))$。
则对于任意正例点x有$dist(x,x_{-})\ge dist(x_{+},x_{-})$。
注意，这里的$(x_{+},x_{-})$是用来代表$S_{+}$和$S_{-}$最近距离的两个点。
同理，对于所有的负例点x有$dist(x,x_{+})\ge dist(x,x_{-})$。
存在超平面$w\cdot x+b=0$其中

$w=x_{+}-x_{-}$
$b=-\frac{x_{+}\cdot x_{+}-x_{-}\cdot x_{-}}{2}$
（以上就是两个技巧）

则对于所有的正例点x(易知$w\cdot x_{+}+b>0$，因此若$x_{+}$属于正例点，则令$x_{+}̸=x$)，

$w\cdot x+b$
$$=(x_{+}-x_{-})\cdot x-\frac{x_{+}\cdot x_{+}-x_{-}\cdot x_{-}}{2}$$

$$=x_{+}\cdot x-x_{-}\cdot x-\frac{x_{+}\cdot x_{+}-x_{-}\cdot x_{-}}{2}$$

$$=\frac{||x_{-}-x|{|}_2^2-||x_{+}-x|{|}_2^2}{2}$$

$$=\frac{dist(x,x_{-}{)}^2-dist(x,x_{+}{)}^2}{2}$$
（这里我觉得不用搞得跟下面一样麻烦，只要分别在两个凸壳中各自取一个点，就能说明上面的式子的符号想相反的了，然后就得证了。）
若$dist(x,x_{-})\le dist(x,x_{+})$，
则$dist(x,x_{-})\le dist(x,x_{+})\le dist(x_{-},x_{+})$，
那么$dist(S_{+},S_{-})<dist(x_{+},x_{-})$(注：证明过程见下方)，
推出矛盾。
因此对所有的正例点，$w\cdot x+b>0$成立。
同理，对所有的负例点，$w\cdot x+b<0$成立。
至此，充分性：凸壳不相交->线性可分

补充：用反正法证明$$dist(x,x_{-})>dist(x,x_{+})$$
证明：若$$dist(x,x_{-})\le dist(x,x_{+})$$，
则存在$$t=\frac{(x_{-}-x_{+})\cdot (x-x_{+})}{||x-x_{+}|{|}_2^2}$$，
令$$x^{{}^{\prime }}=tx+(1-t)x_{+}$$，则$$(x_{-}-x^{{}^{\prime }})\cdot (x_{+}-x)=0$$。

易知$t\le 1$先证明0$dist(x,x_{+}),dist(x,x_{-}),dist(x_{-},x_{+})$
由上文知$$dist(x,x_{+})\ge dist(x,x_{-})\ge dist(x_{-},x_{+})$$
根据三角形的大边对应大角这一特性，很容易可以看出
$x_{+}-x与x_{+}-x_{-}之间的夹角小于90度，
因此t>0。
那么
$$dist(x^{{}^{\prime }},x_{-})<dist(x_{+},x_{-})$$，
又因为$x^{{}^{\prime }}$必在$conv(S_{+})$内部，
所以推出矛盾。

---

本文来自 蓝色骨头零号 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/y954877035/article/details/52210734?utm_source=copy