数学建模 分类模型

1、水果分类的例子

根据水果的属性，判断该水果的种类。
mass: 水果重量 width: 水果的宽度 height: 水果的高度 color_score: 水果的颜色数值，范围0‐1 fruit_name：水果类别
前19个样本是苹果 后19个样本是橙子 用这38个样本预测后四个样本对应的水果种类。

应用逻辑回归的操作，先进行数据预处理，生成虚拟变量。

2、逻辑回归

对于因变量为分类变量的情况，我们可以使用逻辑回归进行处理。 把y看成事件发生的概率，y>=0.5表示发生；y<0.5表示不发生。

3、线性概率模型

预测值可能不在0-1之间
两点分布：

连续函数可以有两种取法：

由于后者有解析表达式（而标准正态分布的cdf没有），所以计算logistic模型比 probit模型更为方便。

f1=@(x) normcdf(x);  % 标准正态分布的累积密度函数 
fplot(f1, [-4,4]);  % 在-4到4上画出函数f1的图形
hold on;  % 不关闭作图窗口
grid on;   % 显示网格线
f2=@(x) exp(x)/(1+exp(x));  % Sigmoid函数
fplot(f2, [-4,4]);  % 在-4到4上画出函数f2的图形
legend('标准正态分布的cdf','sigmoid函数','location','SouthEast')

求解过程：使用极大似然估计法。

4、spss求解逻辑回归

预测成功率看分类表

19个苹果样本中，预测出来为苹果的有14个，预测出来的正确率为73.7%; 19个橙子样本中，预测出来为橙子的有15个，预测出来的正确率为78.9%; 对于整个样本，逻辑回归的预测成功率为76.3%.

预测结果较差：可在logistic回归模型中加入平方项、交互项等。

虽然预测能力提高了，但是容易发生过拟合的现象。对于样本数据的预测非常好，但是对于样本外 的数据的预测效果可能会很差。

如何确定合适的模型：把数据分为训练组和测试组，用训练组的数据来估计出模 型，再用测试组的数据来进行测试。（训练组和测试组的比 例一般设置为80%和20%)

5、Fisher线性判别分析

LDA(Linear Discriminant Analysis)是一种经典的线性判别方法，又称Fisher判别 分析。该方法思想比较简单:给定训练集样例，设法将样例投影到一维的直线 上，使得同类样例的投影点尽可能接近和密集，异类投影点尽可能远离。

详细过程

6、多分类问题

也可以用fisher判别分析，Logistic回归也可用于多分类，将连接函数：Sigmoid函数 推广为 Softmax函数