Spark-MLlib-SVM源码实现分析

注：MLlib中的SVM只实现了线性二分类。没有非线性（核函数），也没有多分类和回归。线性二分类的优化过程类似于逻辑回归。以下从三个方面进行分析：（一）SVM的目标函数、损失函数和最优化方法。（二）从MLlib实现的源码分析模型创建以及优化的过程。（三）参考ML中NaiveBayes的实现，探索SVM-Pipeline的实现思路。

一、SVM 公式

1.1 目标函数

目标函数：** y = wx **
（注：w是超平面的法向量）

1.2 损失函数

损失函数：HingeGradient
公式：** avg( max(0, 1 - (2 y - 1) f_w(x))) )**
（注：0 1分类label，在svm中要转为 -1，1 <- (2y -1)）

1.3 优化函数（随机梯度下降）

梯度：** -(2y - 1) * x **
正则项：** L2 = (1/2) * w^2 **
梯度更新方法：** weight = weight - lambda (gradient + regParam * weight) **

二、MLlib源码实现分析

下图是SVMWithSGD的类图，SVMWithSGD继承了GeneralizdLinearAlgorithm。run()方法会调用optimitor：GradientDescent(gradient, updater)优化得到模型的权值参数weights，并调用createModel(weights)方法new一个SVMModel，返回SVMModel。

SVMWithSGD类图

2.1 创建SVM模型入口

2.1.1 SVMWithSGD 伴生对象（单例对象）

org.apache.spark.mllib.classification.SVMWithSGD
  线性SVM伴生对象是SVMWithSGD，是建立SVM分类模型的入口。它定义了训练SVM分类模型的train方法。

2.1.2 GeneralizdLinearAlgorithm的run执行模型训练

org.apache.spark.mllib.regression.GeneralizdLinearAlgorithm

2.2 SVMWithSGD 类设置损失函数-最优化方法

org.apache.spark.mllib.classification.SVMWithSGD
  分别创建** 梯度下降方法HingeGradient ** 和 ** L2正则化权重更新方法SquaredL2Updater**，两者封装在GradientDescent中，作为优化器optimizer。

2.2.1 HingeGradient

org.apache.spark.mllib.optimization.HingeGradient
  损失函数：max(0, 1 - (2 y - 1) f_w(x)))
  梯度：-（2y - 1） * x

2.2.2 SquaredL2Updater

org.apache.spark.mllib.optimization.SquaredL2Updater
  梯度更新方法：** weight = weight - lambda (gradient + regParam * weight) **

2.3 优化过程的入口：GradientDescent

org.apache.spark.mllib.optimization.GradientDescent
迭代优化的过程如下：
while( 未收敛 并且 小于迭代次数 ) {
  计算本次迭代抽样样本的梯度和，以及损失和（调用HingeGradient）
  记录本次迭代的平均误差（loss）
  更新权重（调用SquaredL2Updater）
  判断是否收敛

}

三、Pipeline实现探索

Spark MLlib的Pipeline，是指将多个机器学习的算法串联到一个工作链中，依次执行各种算法；其出现旨在向用户提供基于 DataFrame 之上的更加高层次的 API 库，以便构建复杂的机器学习工作流式应用。
  一个 Pipeline 在结构上会包含一个或多个 PipelineStage，每一个 PipelineStage 都会完成一个任务，如数据集处理转化，模型训练，参数设置或数据预测等。

3.1 参考NaiveBayes

3.1.1 R->pkg->R->mllib.R

mllib.R中将NaiveBayesWrapper封装为sparkR中的naiveBayes方法

3.1.2 NaiveBayesWrapper生成一个Pipeline

org.apache.spark.ml.r.NaiveBayesWrapper

3.1.3 NaiveBayes

org.apache.spark.ml.classification.NaiveBayes
  **将dataset转成RDD，并New一个MLlib中的NaiveBayes来训练模型 **

3.2 SVM-Pipeline思考

参照以上NaiveBayes的实现，需要在R中的mllib.R中实现一个setMethod的方法，以及在ML里实现** SVMWithSGD 类和 SVMWithSGDWrapper **类。