sklearn中的判别分析主要包括两类,LinearDiscriminantAnalysis和QuadraticDiscriminantAnalysis
线性判别分析是一种分类模型,它通过在k维空间选择一个投影超平面,使得不同类别在该超平面上的投影之间的距离尽可能近,同时不同类别的投影之间的距离尽可能远,在LDA中,我们假设每一个类别的数据服从高斯分布,且具有相同协方差矩阵 Σ 。
此外,由于LDA会将k维数据投影到k-1维的超平面,因此也具有demension reduction的作用。不同于PCA会选择数据变化最大的方向,LDA会主要以类别为思考因素,使得投影后的样本尽可能可分。
关于线性判别分析,详见:LDA
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
da = LinearDiscriminantAnalysis()
class LinearDiscriminantAnalysis(BaseEstimator, LinearClassifierMixin,
TransformerMixin):
def __init__(self, solver='svd', shrinkage=None, priors=None,
n_components=None, store_covariance=False, tol=1e-4):
solver
:str,求解算法, svd
:使用奇异值分解求解,不用计算协方差矩阵,适用于特征数量很大的情形,无法使用参数收缩(shrinkage)lsqr
:最小平方QR分解,可以结合shrinkage使用eigen
:特征值分解,可以结合shrinkage使用shrinkage
:str or float,是否使用参数收缩 None
:不适用参数收缩auto
:str,使用Ledoit-Wolf lemma浮点数
:自定义收缩比例priors
:array,用于LDA中贝叶斯规则的先验概率,当为None时,每个类priors为该类样本占总样本的比例;当为自定义值时,如果概率之和不为1,会按照自定义值进行归一化components
:int,需要保留的特征个数,小于等于n-1store_covariance
:是否计算每个类的协方差矩阵,0.19版本删除 def fit(self, X, y, store_covariance=None, tol=None):
类型检查,包括priors的检测
根据不同的solver调用不同的求解方法
fit()方法里根据不同的solver调用的方法均为LinearDiscriminantAnalysis的类方法
self
:LinearDiscriminantAnalysis实例对象covariances_
:每个类的协方差矩阵, shape = [n_features, n_features]means_
:类均值,shape = [n_classes, n_features]priors_
:归一化的先验概率rotations_
:LDA分析得到的主轴,shape [n_features, n_component]scalings_
:数组列表,每个高斯分布的方差 σ QuadraticDiscriminantAnalysis类似于LDA,不同的地方是它可以形成非线性的边界,并且不同的类所属的高斯分布具有不同的协方差矩阵。
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis
da = QuadraticDiscriminantAnalysis()
class QuadraticDiscriminantAnalysis(BaseEstimator, ClassifierMixin):
def __init__(self, priors=None, reg_param=0., store_covariances=False,
tol=1.0e-4):
reg_param
:float,正则化参数,规范化协方差: (1−reg_param)∗Σ+reg_param∗I def fit(self, X, y, store_covariances=None, tol=None):
类型检查
for ind in xrange(n_classes):
Xg = X[y == ind, :]
meang = Xg.mean(0)
Xgc = Xg - meang#特征的归一化,使其均值为0
U, S, Vt = np.linalg.svd(Xgc, full_matrices=False)
rank = np.sum(S > self.tol)
if rank < n_features:
warnings.warn("Variables are collinear")#SVD,对奇异值矩阵S进行秩的判断
S2 = (S ** 2) / (len(Xg) - 1)
scalings_ = ((1 - self.reg_param) * S2) + self.reg_param
covariances_= np.dot(S2*Vt.T, Vt)
rotations_ = Vt.T#参数求解
fit()方法里根据不同的solver调用的方法均为LinearDiscriminantAnalysis的类方法
self
:QuadraticDiscriminantAnalysis实例对象同LDA
LDA和QDA除了前述linear_model的方法外,还有一个predict_proba(X)和predict_log_proba(X)来求对于给定样本X,数据属于不同类别的概率。