R与线性分类模型

逻辑回归

逻辑回归我们讲过很多了，目前它的公式是

逻辑回归常用于二分类问题，事实上，它的原理是建立一个广义线性模型，这个模型往往称为激发函数，我们设定个阈值，假设说设为0.5，那么将数据点带入这个模型，计算出大于0.5的值归为一类，小于0.5的值归为另一类
R：

 modelFit <- glm(Class ~ Day, 
## Select the rows for the pre-2008 data: 
data = training[pre2008,], 
## 'family' relates to the distribution of the data. 
## A value of 'binomial' is used for logistic regression
family = binomial) 

LDA

既然是分类，那么肯定是带label的，那么我们需要找到一个投影面，使得这两个分类在这个投影面上能够分开，然后垂直于该直线做一条可分类的直线

CSDN

如果待预测值到1类的距离短，则分到1类；如果待预测值到2类的距离短，则分到2类

这里的x1，x2是指1类，2类的均值
R:

library(MASS) 
## First, center and scale the data 
grantPreProcess <- preProcess(training[pre2008, reducedSet])

scaledPre2008 <- predict(grantPreProcess, 
newdata = training[pre2008, reducedSet]) 
scaled2008HoldOut <- predict(grantPreProcess, 
newdata = training[-pre2008, reducedSet])
ldaModel <- lda(x = scaledPre2008, 
grouping = training$Class[pre2008]) 

ldaHoldOutPredictions <- predict(ldaModel, scaled2008HoldOut)

惩罚模型

基于二分类模型，可以看做是伯努利实验

其中p为一类，1-p为另一类
由伯努利分布构造的似然函数L(p)有：

个人感觉这里的β应该是伯努利分布的带估计参数