几个算法比较-草稿版

算法名称	模型	策略	求解算法
线性回归	$f(x)=W^T\cdot x+b$	最小二乘 $L(W,b)=(f(x)-y{)}^2$	梯度下降、牛顿法
LOSSO回归	$f(x)=W^T\cdot x+b$	最小二乘$L(W,b)=(f(x)-y{)}^2+\lambda ||W|{|}_1$	坐标下降法
岭回归	$f(x)=W^T\cdot x+b$	最小二乘$L(W,b)=(f(x)-y{)}^2+\frac{1}{2}\lambda W^2$	梯度下降
逻辑回归	$f(x)=\frac{1}{1+e^{-(W^T\cdot x+b)}}$	交叉熵损失$-lnp(y|x)=-\frac{1}{m}{\sum }_{i=1}^m(yln\hat{y}+(1-y)ln(1-\hat{y}))$, $\hat{y}=\frac{1}{1+e^{-(W^T\cdot X+b)}}$	梯度下降、牛顿法
感知机	$f(x)=sign(W^T\cdot x+b)$,sign是一个符号函数	让分错的点距离当前分离超平面距离尽可能的小$L(w,b)=-{\sum }_{x_i\in M}{y}_i(w{x}_i+b)$ M是所有分类错误点的集合	随机梯度下降：每找到一个错误的样本更新一次参数
K近邻	$y=argmax{\sum }_{x_i\in N_K(x)}I(y_i=c_j)$	-	-
朴素贝叶斯	$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$，条件独立性假设	经验风险期望最小化：$y=f(x)=argma{x}_{c_k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)$	极大似然估计：$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$, $P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$
SVM-线性可分	$f(x)=sign(W^T\cdot x+b)$	间隔最大化/合页损失:$min\frac{1}{2}||w|{|}^2$同时包含约束：$y_i(W^T\cdot x_i+b)-1>=0$	拉格朗日、SMO
SVM-线性近似可分	$f(x)=sign(W^T\cdot x+b)$	间隔最大化/合页损失:$min\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\xi }_i$，同时包含约束：$y_i(w\cdot x_i+b)>=1-{\xi }_i$	拉格朗日、SMO
SVM-支持向量机	$f(x)=sign(W^T\cdot x+b)$	间隔最大化/合页损失:$mi{n}_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i\cdot x_j)-{\sum }_{i=1}^N{\alpha }_i$同时包含约束：${\sum }_{i=1}^N{\alpha }_i{y}_i=0$，$0<={\alpha }_i<=C$	拉格朗日、SMO