机器学习基础 - [第三章:逻辑回归](6)使用逻辑回归解决多分类问题

1、如何使用逻辑回归解决多分类问题?

我们知道,逻辑回归只能解决二分类问题,即 y = { 0 , 1 } y=\{0,1\} y={0,1},当遇到多分类问题(下图1是多分类问题的一些实例),即y的取值超过2时,比如 y = { 0 , 1 , 2 , 3 } y=\{0,1,2,3\} y={0123}我们应该解决这种问题呢?
机器学习基础 - [第三章:逻辑回归](6)使用逻辑回归解决多分类问题_第1张图片

2、one vs all 思想

当遇到多分类问题时,我们可以使用一对多的思想来解决。
一对多思想是指将多元分类问题转化成多个二元分类问题:
对于每个类i,将数据集分成两部分,一部分属于i,另一部分不属于i,属于i那部分的标签视为1,不属于i的部分标签视为0,利用逻辑回归得到针对类i的二元分类器 h θ ( x ) ( i ) h_{\theta}(x)^{(i)} hθ(x)(i),该分类器的输出值表示样本 x x x属于类i的概率,即 p ( y = i ∣ x ; θ ) p(y=i|x;\theta) p(y=ix;θ):
机器学习基础 - [第三章:逻辑回归](6)使用逻辑回归解决多分类问题_第2张图片
最后,对于新的输入样例,只需取概率最大的那个类作为该类的类标签即可
机器学习基础 - [第三章:逻辑回归](6)使用逻辑回归解决多分类问题_第3张图片

你可能感兴趣的:(机器学习算法)