SVM支持向量机习题解答

以下习题,来自机器学习实战:基于Scikit-Learn和Tensorflow一书。

  1. 支持向量机的基本思想是什么?
    答:基本思想是拟合类别之间可能的、最宽的“街道”。它的目的是使决策边界之间最大间隔化,从而分隔出两个类别的训练实例。SVM在执行软间隔分类时,实际上是在完美分类和拟合最宽街道之间进行妥协(允许少量的实例最终落在街道上)。在训练非线性数据集时,记得使用核函数。
  2. 什么是支持向量?
    答: SVM训练完成后,位于街道上的实例被称为支持向量,也包括位于边界上的实例。决策边界完全由支持向量决定。非支持向量地实例则对决策边界没有任何影响。计算预测结果只涉及支持向量,而不涉及整个训练集
  3. 使用SVM时,对输入值进行缩放为什么重要?
    答:SVM拟合类别之间可能的、最宽的“街道”,所以如果训练集不经缩放,SVM将趋于忽略值较小的特征。
  4. SVM分类器在对实例进行分类时,会输出信心分数么?概率呢?
    答: SVM分类时输出的是测试实例与决策边界的距离,也可以将其用作信心分数。但这个分数不能直接转换为类别概率的估算。如果创建SVM时,在Scikit-Learn中设置probability=True,那么
    训练完成后,算法将使用逻辑回归对SVM分数进行校准(对训练数据额外进行5-折交叉验证的训练),从而得到概率值。这会给SVM添加predict_proba()predict_log_proba()两种方法
  5. 如果训练集有上千万个实例和几百个特征,你应该使用SVM原始问题还是对偶问题来训练模型?
    答:因为核SVM只能使用对偶问题,所以此问题只适用于线性支持向量机。原始问题的计算复杂度与训练实例的数量成正比,而其对偶形式的计算复杂度与某个介于m2和m3的数量成正比。所以,应使用原始问题。
  6. 假设你用RBF核训练了一个SVM分类器,看起来似乎对训练集拟合不足,你应该提升还是降低γ(gamma)?C呢?
    答: 可能是由于过度正则化,提升gamma和C。
  7. 如果使用现成二次规划求解器,你应该如何设置QP参数(H、f、A和b),来解决软间隔线性SVM分类器问题?
  8. 在一个线性可分离数据集上训练LinearSVC。然后在同一数据集上训练SVC和SGDClassifier。看看你是否可以用它们产出大致相同的模型。
  9. 在MNIST数据集上训练SVM分类器。由于SVM分类器是个二元分类器,所以你需要使用一对多来为10个数字进行分类。你可能还需要使用小型验证集来调整超参数以加快进度。最后看看达到的精度
    是多少?
  10. 在加州住房数据集上训练一个SVM回归模型。

你可能感兴趣的:(机器学习)