【数学建模】分类模型

目录

一、水果分类的例子

二、逻辑回归（Logistic regression)

三、线性概率模型（LPM）

四、Spss求逻辑回归

1、操作步骤

2、预测成功率看分类表

3、逻辑回归系数表

五、Fisher线性判别分析

六、多分类问题

用fisher判别分析

Logistic回归也可用于多分类

结果说明​

另、课后作业

        1、题目

         2、参考答案​

---

一、水果分类的例子

根据水果的属性，判断该水果的种类。
mass: 水果重量

width: 水果的宽度

height: 水果的高度

color_score: 水果的颜色数值，范围0‐1

fruit_name：水果类别
前19个样本是苹果 后19个样本是橙子 用这38个样本预测后四个样本对应的水果种类。

应用逻辑回归的操作，先进行数据预处理，生成虚拟变量。

二、逻辑回归（Logistic regression)

对于因变量为分类变量的情况，我们可以使用逻辑回归进行处理。 把y看成事件发生的概率，y>=0.5表示发生；y<0.5表示不发生。

三、线性概率模型（LPM）

预测值可能不在0-1之间
两点分布（伯努利分布）

连续函数的两种取法

 由于后者有解析表达式（而标准正态分布的cdf没有），所以计算logistic模型比 probit模型更为方便。

f1=@(x) normcdf(x);  % 标准正态分布的累积密度函数 
fplot(f1, [-4,4]);  % 在-4到4上画出函数f1的图形
hold on;  % 不关闭作图窗口
grid on;   % 显示网格线
f2=@(x) exp(x)/(1+exp(x));  % Sigmoid函数
fplot(f2, [-4,4]);  % 在-4到4上画出函数f2的图形
legend('标准正态分布的cdf','sigmoid函数','location','SouthEast')

 函数图像对比

对于如何求解：非线性模型，用极大似然估计法（MLE）进行估计

四、Spss求逻辑回归

1、操作步骤

2、预测成功率看分类表

        19个苹果样本中，预测出来为苹果的有14个，预测出来的正确率为73.7%; 19个橙子样本中，预测出来为橙子的有15个，预测出来的正确率为78.9%; 对于整个样本，逻辑回归的预测成功率为76.3%.

3、逻辑回归系数表

 如果预测结果较差：可在logistic回归模型中加入平方项、交互项等

 虽然预测能力提高了，但是容易发生过拟合现象。对于样本数据的预测非常好，但是对于样本外 的数据的预测效果可能会很差。

 如何确定合适的模型：把数据分为训练组和测试组，用训练组的数据来估计出模 型，再用测试组的数据来进行测试。（训练组和测试组的比 例一般设置为80%和20%)

---

五、Fisher线性判别分析

LDA(Linear Discriminant Analysis)是一种经典的线性判别方法，又称Fisher判别 分析。该方法思想比较简单:给定训练集样例，设法将样例投影到一维的直线 上，使得同类样例的投影点尽可能接近和密集，异类投影点尽可能远离。

 链接：机器学习-白板推导系列(四)-线性分类（Linear Classification）_哔哩哔哩_bilibili线性分类，包括判别模型，概率判别模型，概率生产模型https://www.bilibili.com/video/av33101528/?

核心问题：找到线性系数向量w.

六、多分类问题

用fisher判别分析

Logistic回归也可用于多分类

将连接函数：Sigmoid函数 推广为 Softmax函数

结果说明

另、课后作业

        1、题目

         2、参考答案

---

基于清风数学建模课程，仅作为个人学习笔记。