感知机

感知机

本质为以点到超平面的距离作为整体误差进行衡量。
点P到直线l的距离：

$$\begin{array}{rl}:A(x-x_0)+B(y-y_0)& =0\\ Ax+By+C& =0:P(x_1,y_1),r_l=(A,B),\forall Q\in l;\\ \Rightarrow d& =|PQ|\times cos<PQ,r_l>\\ & =|PQ|\times \frac{PQ\times r_l}{|PQ|\times |r_l|}\\ & =|PQ|\times \frac{A{x}_1+B{y}_1+C}{|PQ|\times |r_l|}\\ & =\frac{A{x}_1+B{y}_1+C}{\sqrt{A^2+B^2}}\\ \Rightarrow d& =\frac{w\times x+b}{||w||}\end{array}$$

此时，超参数w,b显现。后续步骤为评价和更新这两个超参数。

评价超参数

引入sign函数：
$$sign=\{\begin{array}{ll}1,& x\ge 0;\\ -1,& x<0;\end{array}$$
记，sign函数的反馈值为预测值。
损失函数的真实值记为y，超参数需要不断修改以便符合真实值的需求：
$$\begin{array}{rl}(w;b)& =-\frac{1}{||w||}\sum _{i=1}^m{y}_i(w\times x+b)\\ y_i(w\times x+b)& \{\begin{array}{ll}\ge 0,& true;\\ <0,& false;\end{array}\end{array}$$
由于负号的存在，误判的部分会作为正值提升损失函数的占比。因此需要调整超参数降低损失函数值。

更新超参数

观察损失函数，以系数为依据更新超参数：
$$\begin{array}{rl}(w;b)& =-\frac{1}{||w||}\sum _{i=1}^m{y}_i(w\times x+b)\\ & \{\begin{array}{ll}w& =w+\eta y_{i}x;\\ b& =b+\eta y_i;\end{array}\end{array}$$