kmeans聚类分析——Python实现
注意点：一定要处理异常值和去量纲
导入库
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
一、数据概况
异常值
缺失值
二、单变量分析
- 创建新变量
airbnb['year_since_account_created']=airbnb['date_account_created'].apply(lambda x:2019-x.year)
- 类别型变量处理
store=pd.get_dummies(store)
- 日期型变量处理
airbnb['date_account_created']=pd.to_datetime(airbnb['date_account_created']) # 将注册日期转变为日期时间格式
- 删除对业务分析没有实际作用的变量
drop(['变量名'],axis=1,inplace=True)
三、数据准备
1.相关分析
mb1.columns
mobike.corr() # 相关分析
sns.heatmap(df.corr()) # 使用热力图进行可视化呈现
2.选择变量
airbnb_5=airbnb[['age','web','moweb','ios','android']]
X = dataset.iloc[:, [3, 4]].values#选择最后两栏作为分群依据
3.数据标准化：（收入-收入均值）/收入标准差
from sklearn.preprocessing import scale
airbnb_5=airbnb[['age','web','moweb','ios','android']]
x=pd.DataFrame(scale(airbnb_5)) # 全部变量
tired['speed_scaled']=preprocessing.scale(tired.vehicle_speed) # 单个变量
四、评估聚类个数——肘部法则
快速下降趋于平缓下降的转折点，为聚类最好的情况
from sklearn.cluster import KMeans
sse = []
for i in range(1,11): # 循环使用不同k测试结果
kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42)
kmeans.fit(df[[,,,]])
sse.append(kmeans.inertia_) # kmeans.inertia_是每类数据到其中心点的距离之和。值越小，聚类越好。类别越多，k越大，值越小。
plt.plot(range(1,11), sse)
plt.title('The Elbow Method')
plt.xlabel('Number of clusters')
plt.ylabel('SSE')
plt.show()
五、建模
from sklearn import cluster
model=cluster.KMeans(n_clusters=3,random_state=10)# 先尝试分为三类
model.fit(x)
df['cluster']=model.labels_ # 提取分群标签，存入dataframe
六、模型评估，评估变量选择和群数对分群效果的影响
（一）使用silhouette score轮廓系数，评估模型效果
from sklearn import metrics
x_cluster=model.predict(x) # 个体与群的距离
metrics.silhouette_score(x,x_cluster) # 评分越高，个体与群越近；评分越低，个体与群越远
（二）使用groupby函数，评估单个变量维度的分群效果
df1=df[['x1','x2','x3','x4','x5']]
df1.groupby(['cluster'])['x1'].describe()
（三）散点图，评估两个变量维度的分群效果
sns.scatterplot(x='x1',y='x2',hue='cluster',data=df1,palette='Set2') # palette调色板，hue分组
（四）评估每个群最有区分度的变量
centers=pd.DataFrame(model.cluster_centers_)
centers.head()
理解行和列：
行：每一行是系统认为的群组，即0群、1群、2群；
列：重点关注每一列的数据，标注出绝对值较大的数字，如果人群在某个特征变量上数据的绝对值较大，就说明这个人群在这个特征上有较明显的区分度
结合业务，解读各个群组的特征
例如，下图中0群大多通过H5页面下单，不使用app；2群可能是果粉，是ios重度用户，不怎么使用web。
六、模型优化
改变分类数量，重复建模步骤，并比较轮廓系数，不断优化模型