机器学习算法基础(8): 逻辑回归算法和K-means聚类算法

模型的保存和加载

from sklearn.externals import joblib

分类算法：逻辑回归

逻辑回归：线性回归的式子作为输入，解决二分类问题， 也可以得出概率值

1、应用场景（基础分类问题：二分类）

• 广告点击率

• 是否为垃圾邮件

• 是否患病

• 金融诈骗

• 虚假账号

2、广告点击

• 点击

• 没点击

3、逻辑回归的输入与线性回归相同

将线性回归的输入转变为一个分类问题

4、sigmoid函数

函数y轴为概率值

逻辑回归也是一个算法自我学习的过程

5、逻辑回归的损失函数

当事件发生的概率为1时，损失函数为0，发生的概率越小，损失越大

逻辑回归只盼定属于y=1的概率

目的：减少损失函数的大小

逻辑回归的目的：更新权重

损失函数

• 均方误差：不存在多个局部的最低点，只有一个最小值
• 对数似然损失：有多个最小值，即多个局部最小值，目前解决不了的问题

解决方案（无法最终解决问题，尽量改善，尽管找不到全局最低点，但效果很好）

• 多次随机初始化：分别去找自己的最低点，在比较最小值结果
• 调整学习率：在求解的过程中，调整学习率，学习率大小决定学习快慢

6、逻辑回归算法

API

与岭回归一样，可以解决过拟合问题

回归案例：肿瘤检测

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression, SGDRegressor,Ridge,LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
import numpy as np
import joblib
import pandas as pd


def logistic():
    '''
    逻辑回归做二分类进行癌症预测(根据细胞的属性特征)
    '''

    #构造列标签
    column=["sample code number","clump thickness","uniformtity of cell size","uniformity of cell shape","marginal adhesion",
            "single epithelial cell size","bare nuclei","bland chromatin","normal nucleoli","mitoses","class"]
    #读取数据
    data=pd.read_csv("http://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",names=column)

    print(data)

    #缺失值进行数据处理
    data=data.replace(to_replace="?",value=np.nan)

    #将np.nan删除
    data=data.dropna()

    #进行数据分割,特征值为第2列到10列，目标值为第11列
    x_train, x_test, y_train, y_test = train_test_split(data[column[1:10]], data[column[10]], test_size=0.25)

    #进行标准化处理, 目标值不需要标准化 预测属于4的概率（癌症发生的概率）
    std=StandardScaler()

    x_train=std.fit_transform(x_train)

    x_test=std.fit_transform(x_test)

    #逻辑回归预测
    lg=LogisticRegression(C=1.0)

    lg.fit(x_train,y_train)

    print(lg.coef_)

    y_predict=lg.predict(x_test)

    print("准确率：",lg.score(x_test,y_test))

    #考虑召回率
    print("召回率：",classification_report(y_test, y_predict, labels=[2,4],target_names=["良性","恶性"]))
    if __name__=="__main__":
    logistic()

总结

逻辑回归与朴素贝叶斯

非监督学习

k-means （聚类）的过程

API

代码

import pandas as pd
from sklearn.decomposition import PCA
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
#读取4张表
prior=pd.read_csv("./data/order_products__prior.csv")
products=pd.read_csv("./data/products.csv")
orders=pd.read_csv("./data/orders.csv")
aisles=pd.read_csv("./data/aisles.csv")
pd.set_option('display.max_columns', None)
#合并四张表到一张表当中 （用户-物品类别）
_mg=pd.merge(prior,products,on=["product_id","product_id"])
_mg=pd.merge(_mg, orders,on=["order_id","order_id"])
mt=pd.merge(_mg,aisles,on=["aisle_id","aisle_id"])

print(mt.head(10))

#建立行和列
# 交叉表 特殊的分组工具
cross=pd.crosstab(mt["user_id"],mt["aisle"])

#进行主成分分析
pca=PCA(n_components=0.9)
data=pca.fit_transform(cross)

#假设用户一共分为四个类别

#把样本数量减少
x=data[:500]


#聚类
km=KMeans(n_clusters=4)

km.fit(x)

predict=km.predict(x)

#显示聚类的结果
plt.figure(figsize=(10,10))

#建立四个颜色的列表
color=["red","blue","green","orange"]

color=[color[i] for i in predict]

plt.scatter(x[:,1],x[:,20],color=color)

plt.xlabel("1")
plt.ylabel("20")
plt.show()

评估标准