ML坚持之路_Day3

Day_3 多重线性回归

概述

多重线性回归(Multiple Linear Regression)将会不只有一个自变量，并且每个自变量拥有自己的系数且符合线性回归。

多重线性回归试图使用两个或者以上的特征建立模型来适应观察线性数据。其实多重线性回归建立的步骤与简单线性回归相似。

你可以用它来找出哪一个因素对预测的输出有着最大的影响，以及不同的变量是如何相互关联的。

y = b_o + b₁x₁ + b₂x₂ + ... + b_nx_n

需要满足的条件

1. 满足线性性 ：独立变量和非独立变量需要满足线性性
2. 应保持误差的同方差（常方差）
3. 多元正态性：多元回归假设残差是正态分布的
4. 缺乏多重共线性：假设在数据中很少或没有多重共线性，当特征（或独立变量）彼此不独立时发生多重共线性。

虚拟变量

在回归模型中，具有固定和无序数量值的数据值，例如性别 (男/女)，这些值会被虚拟变量代替。变量包含例如 0/1的值，，来代替表示2代表分类值的存在与否

虚拟变量陷阱

虚拟变量陷阱是两个或多个变量高度相关的场景。

通俗来理解(intuitively)，就是一个变量必须被其余变量所预测。直观地说，有一个重复(duplicate)的范畴：如果我们放弃男性范畴，它在女性范畴中是固有定义的（零女性值表示男性，反之亦然vice-versa）。

虚拟变量陷阱的解决方法：

删除分类变量中的一个——如果有M个类别，在模型中使用M-1，可以忽略掉的值作为参考值。

y = b_o + b₁x₁ + b₂x₂ + b₃D₁

注释

有多种方法来选择适当的变量，例如：

• 前向选择(前进法Forward Selection)
• 向后消除(后退法Backward Elimination)
• 双向比较(bi-directional comparision)

Backward Elimination:
首先包含了所有的feature，然后每个feature都尝试去删除，测试删除的哪个feature对模型准确性有最大的提升，最终删掉对模型提升最高的一个特征。如此类推，直到删除feature并不能提升模型为止。

---

开始今天的学习

预处理数据

运用第一天的处理步骤

• Import the libraries
• Import the DataSet
• Check for Missing Data
• Encode Categorical Data
• Make Dummy Variables if necessary and avoid dummy variable trap
• Feature Scaling will be taken care by the Library 3

代码如下：

import pandas as pd
import numpy as np
dataset = pd.read_csv('50_Starups.csv')
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 4].values

# Encoding Categorical data
from sklearn.preprocessing import LabelEncoder, Onehotencoder
labelencoder = LabelEncoder()
X[ : , 3] = labelencoder.fit_transform(X[ : , 3])
onehotencoder = Onehotencoder(categorical_features= [3])
X =onehotencoder.fit_transform(X).toarray

# Avoiding Dummy Variable Trap
X = X[ : , 1: ]

# Splitting the dataset into the Training set and Test set
from sklearn.cross_validation import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.2, random_state = 0)

将模型拟合到训练集 (Fitting our model to the trainning set)

这个步骤和简单线性回归完全相同。

我们将使用 sklearn.linear_model库中的LinearRegression类来拟合训练集，然后创建一个LinearRegression的regressor对象，再对对象使用fit()方法来处理。

#  Fitting Multiple Linear Regression to the Training set
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X_train, Y_train)

预测测试集的结果

在这个步骤中，我们将预测从测试集观察到的结果。使用Y_pred来储存输出，最后使用predict()方法，来预测我们在上一步骤中训练的结果

# Predicting the test set results
Y_pred = regressor.predict(X_test)

第2️天的学习结束啦，明天也要坚持哟

---

本文作者： Keithxodoy
文章为作者一字一句敲出来，整理实在不容易，希望各位转载写明出处
须知：未经允许，不得转载