双十一狂欢总额
1682亿，“淘宝+天猫”2017年双十一交易总额。看到这数字，惊讶的同时，是否想到自己作为狂欢者的一份子，贡献了多少数据。这全民狂欢的背后，蕴含多少商家的套路，你又是否知道呢？！
PS ：
- 本文所用数据为2016年淘宝双十一美妆商品数据
- 使用jupyter notebook ，python进行数据分析
- bokeh 为可视化图表模块
数据源展示
事不宜迟，马上进入我们的分析环节
问题1：有多少美妆商品品牌参加了双十一活动？
1.1 导入函数库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
% matplotlib inline
import warnings
warnings.filterwarnings('ignore')
# 不发出警告
from bokeh.io import output_notebook
output_notebook()
# 导入notebook绘图模块
from bokeh.plotting import figure,show
from bokeh.models import ColumnDataSource
# 导入图表绘制、图标展示模块
# 导入ColumnDataSource模块
1.2 导入数据文件
import os
os.chdir('E:\\数据分析\\项目08电商打折套路解析')
# 创建工作路径
df = pd.read_excel('双十一淘宝美妆数据.xlsx',sheetname=0,header=0,index_col=0)
df_length = len(df)
df_columns = df.columns.tolist()
df.fillna(0,inplace = True) # 填充缺失值
df['date'] = df.index.day # 提取销售日期
1.3 对商品进行分类
根据商品双十一前后销售情况，大致可以把商品分为7种
A. 11.11前后及当天都在售 → 一直在售
B. 11.11之后停止销售 → 双十一后停止销售
C. 11.11开始销售并当天不停止 → 双十一当天上架并持续在售
D. 11.11开始销售且当天停止 → 仅双十一当天有售
E. 11.5 - 11.10 → 双十一前停止销售
F. 仅11.11当天停止销售 → 仅双十一当天停止销售
G. 11.12开始销售 → 双十一后上架
data1 = df[['id','title','店名','date']]
#print(data1.head())
# 筛选数据
d1 = data1[['id','date']].groupby(by = 'id').agg(['min','max'])['date']
# 统计不同商品的销售开始日期、截止日期
id_11 = data1[data1['date']==11]['id'].unique()
d2 = pd.DataFrame({'id':id_11,'双十一当天是否售卖':True})
# 筛选双十一当天售卖的商品id
id_date = pd.merge(d1,d2,left_index=True,right_on='id',how = 'left')
id_date['双十一当天是否售卖'][id_date['双十一当天是否售卖']!=True] = False
#print(id_date.head())
# 合并数据
m = len(data1['id'].unique())
m_11 = len(id_11)
m_11_pre = m_11/m
print('商品总数为%i个\n-------' % m)
print('双十一当天参与活动的商品总数为%i个，占比为%.2f%%\n-------' % (m_11,m_11_pre*100))
print('品牌总数为%i个\n' % len(data1['店名'].unique()),data1['店名'].unique())
# 统计
id_date['type'] = '待分类'
id_date['type'][(id_date['min'] <11)&(id_date['max']>11)] = 'A' # A类：11.11前后及当天都在售 → 一直在售
id_date['type'][(id_date['min'] <11)&(id_date['max']==11)] = 'B' # B类：11.11之后停止销售 → 双十一后停止销售
id_date['type'][(id_date['min'] ==11)&(id_date['max']>11)] = 'C' # C类：11.11开始销售并当天不停止 → 双十一当天上架并持续在售
id_date['type'][(id_date['min'] ==11)&(id_date['max']==11)] = 'D' # D类：11.11开始销售且当天停止 → 仅双十一当天有售
id_date['type'][id_date['双十一当天是否售卖']== False] = 'F' # F类：仅11.11当天停止销售 → 仅双十一当天停止销售
id_date['type'][id_date['max']<11] = 'E' # E类：11.5 - 11.10 → 双十一前停止销售
id_date['type'][id_date['min'] >11] = 'G' # G类：11.11之后开始销售 → 双十一后上架
# 商品销售节奏分类
result1 = id_date['type'].value_counts()
result1 = result1.loc[['A','C','B','D','E','F','G']] # 调整顺序
# 计算不同类别的商品数量
from bokeh.palettes import brewer
colori = brewer['YlGn'][7]
plt.axis('equal')
plt.pie(result1,labels = result1.index, autopct='%.2f%%',pctdistance=0.8,labeldistance =1.1,
startangle=90, radius=1.5,counterclock=False, colors = colori)
# 绘制饼图
result1
我们可以得知商品数量信息
双十一美妆商品数据
双十一美妆商品类型分布饼图
观察发现，双十一前后持续销售的商品只有51.97%，仅为一半。其次，双十一节日前停止销售的数量最多，为24.01%。双十一结束后停止销售数量同样占比很大，为13.08%，合计37.09%。
可以猜测，商家为了迎合狂欢节日，在商品的选择和折扣上有很大的波动计划。对数据只在乎“折扣值”大小的用户，很容易就陷入商家的糖果炮弹中。
二、哪些商品真正在打折？
2.1 计算打折情况
把商品打折情况分为两种，一是真打折，价格为10天波动里的最低值，否则为不打折。
data2 = df[['id','title','店名','date','price']]
data2['period'] = pd.cut(data2['date'],[4,10,11,14],labels = ['双十一前','双十一当天','双十一后'])
#print(data2.head())
# 筛选数据
price = data2[['id','price','period']].groupby(['id','price']).min()
price.reset_index(inplace = True)
# 针对每个商品做price字段的value值统计，查看价格是否有波动
id_count = price['id'].value_counts()
id_type1 = id_count[id_count == 1].index
id_type2 = id_count[id_count != 1].index
# 筛选出“不打折”和“真打折”的商品id
n1 = len(id_type1)
n2 = len(id_type2)
print('真打折的商品数量约占比%.2f%%，不打折的商品数量约占比%.2f%%' % (n2/len(id_count)*100, n1/len(id_count)*100))
打折情况
仅仅只有24.73%，双十一到底是用户的狂欢，还是商家的狂欢，或许你已经有些许答案。
2.2 计算折扣率
为了清晰地呈现各品牌双十一打折情况，多角度分析，我们再来计算商品的折扣率，大致查看折扣的分布情况
result3_data1 = data2[['id','price','period','店名']].groupby(['id','period']).min()
result3_data1.reset_index(inplace = True)
# 筛选数据
result3_before11 = result3_data1[result3_data1['period'] == '双十一前']
result3_at11 = result3_data1[result3_data1['period'] == '双十一当天']
result3_data2 = pd.merge(result3_at11,result3_before11,on = 'id')
# 筛选出商品双十一当天及双十一之前的价格
result3_data2['zkl'] = result3_data2['price_x'] / result3_data2['price_y']
# 计算折扣率
# 用bokeh绘制折线图：x轴为折扣率，y轴为商品数量占比
bokeh_data = result3_data2[['id','zkl']].dropna()
bokeh_data['zkl_range'] = pd.cut(bokeh_data['zkl'],bins = np.linspace(0,1,21))
bokeh_data2 = bokeh_data.groupby('zkl_range').count().iloc[:-1] # 这里去掉折扣率在0.95-1之间的数据，该区间内数据zkl大部分为1，不打折
bokeh_data2['zkl_pre'] = bokeh_data2['zkl']/bokeh_data2['zkl'].sum()
# 将数据按照折扣率拆分为不同区间，并统计不同1扣率的商品数量
source = ColumnDataSource(data=bokeh_data2)
# 创建数据
lst_brand = bokeh_data2.index.tolist()
hover = HoverTool(tooltips=[("折扣率", "@zkl")]) # 设置标签显示内容
p = figure(x_range=lst_brand, plot_width=900, plot_height=350, title="商品折扣率统计",
tools=[hover,'reset,xwheel_zoom,pan,crosshair'])
# 构建绘图空间
p.line(x='zkl_range',y='zkl_pre',source = source, # 设置x，y值, source → 数据源
line_width=2, line_alpha = 0.8, line_color = 'black',line_dash = [10,4]) # 线型基本设置
# 绘制折线图
p.circle(x='zkl_range',y='zkl_pre',source = source, size = 8,color = 'red',alpha = 0.8)
p.xgrid.grid_line_color = None
p.axis.minor_tick_line_color = None
p.outline_line_color = None
# 设置其他参数
show(p)
商品折扣分布折线图
商品折扣出现两个波峰，一个是8.5折到9折，此类折扣最为常见，既响应了狂欢节的打折信号，又不会把价格定得过低造成亏损，属于人畜无害的一种手段，诚然也是最普遍的套路。
喜闻乐见的是，第二个波峰在4.5折到5折，这类商品的口号往往是限量半价发售，或是第二件半价，旨在快速积累店铺人气，清理库存商品。对于普罗大众而言，这类商品才称得上真正的狂欢。
其次，折扣力度越大，商品量越少实属常见。低价商品多以秒杀为主，数量及其有限。当然，抢到就是赚到。
2.3 哪个品牌称得上“良心商家”
# 用bokeh绘制浮动散点图，y坐标为品牌类型，x坐标为折扣力度
from bokeh.transform import jitter
brands = result3_data2['店名_y'].dropna().unique().tolist()
# 得到y坐标
bokeh_data = result3_data2[['id','zkl','店名_y']].dropna()
bokeh_data = bokeh_data[bokeh_data['zkl'] < 0.95]
source = ColumnDataSource(data = bokeh_data)
# 创建数据
hover = HoverTool(tooltips=[("折扣率", "@zkl")]) # 设置标签显示内容
p = figure(plot_width=800, plot_height=600,y_range=brands,title="不同品牌折扣率情况",
tools=[hover,'reset,ywheel_zoom,pan,crosshair'])
p.circle(x='zkl',
y=jitter('店名_y', width=0.6, range=p.y_range),
source=source, alpha=0.3)
# jitter参数 → 'day'：第一参数，这里指y的值，width：间隔宽度比例，range：分类范围对象，这里和y轴的分类一致
p.ygrid.grid_line_color = None
# 设置其他参数
show(p)
品牌折扣情况
可以发现，大多品牌的折扣都有几个数据密集点，集中在5折8.5折前后，这与前文相对应。
细心观察，可以发现两个有趣的品牌销售手段。伍草集有四个数据密集点，分别在5-8折内，同时在各个折扣值上都有涉猎。大胆猜测，伍草集的销售计划旨在广撒网，多个价格区间抢占用户，满足多个阶级人群需要。
反观欧莱雅，折扣数据分别在超高折扣和低折扣，缺乏中间数值。可猜测，欧莱雅的商品更受高薪人群青睐，需要超高折扣吸引中层消费者，同时低折扣满足原客户需求。
三、商家营销套路挖掘
最后，我们来汇总观察不痛品牌的参与打折商品数值，并做成气泡图
# 解析出不同品牌的参与打折商品比例及折扣力度，并做散点图，总结打折套路
data_zk = result3_data2[result3_data2['zkl']<0.95] # 删除未打折数据
result4_zkld = data_zk.groupby('店名_y')['zkl'].mean()
# 筛选出不同品牌的折扣率
n_dz = data_zk['店名_y'].value_counts()
n_zs = result3_data2['店名_y'].value_counts()
result4_dzspbl = pd.DataFrame({'打折商品数':n_dz,'商品总数':n_zs})
result4_dzspbl['参与打折商品比例'] = result4_dzspbl['打折商品数'] / result4_dzspbl['商品总数']
result4_dzspbl.dropna(inplace = True)
#print(result4_dzspbl.head())
# 计算出不同品牌参与打折商品比例
result4_sum = result2_data.copy()
# 筛选出品牌参加双11活动的商品总数
result4_data = pd.merge(pd.DataFrame(result4_zkld),result4_dzspbl,left_index = True, right_index = True, how = 'inner')
result4_data = pd.merge(result4_data,result4_sum,left_index = True, right_index = True, how = 'inner')
# 合并数据
# 用bokeh绘制散点图，x轴为参与打折商品比例，y轴为折扣力度，点的大小代表该品牌参加双11活动的商品总数
from bokeh.models.annotations import Span # 导入Span模块
from bokeh.models.annotations import Label # 导入Label模块
from bokeh.models.annotations import BoxAnnotation # 导入BoxAnnotation模块
bokeh_data = result4_data[['zkl','sum','参与打折商品比例']]
bokeh_data.columns = ['zkl','amount','pre']
bokeh_data['size'] = bokeh_data['amount'] * 0.03
source = ColumnDataSource(bokeh_data)
# 创建ColumnDataSource数据
x_mean = bokeh_data['pre'].mean()
y_mean = bokeh_data['zkl'].mean()
hover = HoverTool(tooltips=[("品牌", "@index"),
("折扣率", "@zkl"),
("商品总数", "@amount"),
("参与打折商品比例", "@pre"),
]) # 设置标签显示内容
p = figure(plot_width=600, plot_height=600,
title="各个品牌打折套路解析" ,
tools=[hover,'box_select,reset,wheel_zoom,pan,crosshair'])
# 构建绘图空间
p.circle_x(x = 'pre',y = 'zkl',source = source,size = 'size',
fill_color = 'red',line_color = 'black',fill_alpha = 0.6,line_dash = [8,3])
p.ygrid.grid_line_dash = [6, 4]
p.xgrid.grid_line_dash = [6, 4]
# 散点图
x = Span(location=x_mean, dimension='height', line_color='green',line_alpha = 0.7, line_width=1.5, line_dash = [6,4])
y = Span(location=y_mean, dimension='width', line_color='green',line_alpha = 0.7, line_width=1.5, line_dash = [6,4])
p.add_layout(x)
p.add_layout(y)
# 绘制辅助线
bg1 = BoxAnnotation(bottom=y_mean, right=x_mean,fill_alpha=0.1, fill_color='olive')
label1 = Label(x=0.1, y=0.55,text="少量大打折",text_font_size="10pt" )
p.add_layout(bg1)
p.add_layout(label1)
# 绘制第一象限
bg2 = BoxAnnotation(bottom=y_mean, left=x_mean,fill_alpha=0.1, fill_color='firebrick')
label2 = Label(x=0.7, y=0.55,text="大量大打折",text_font_size="10pt" )
p.add_layout(bg2)
p.add_layout(label2)
# 绘制第二象限
bg3 = BoxAnnotation(top=y_mean, right=x_mean,fill_alpha=0.1, fill_color='firebrick')
label3 = Label(x=0.1, y=0.80,text="少量少打折",text_font_size="10pt" )
p.add_layout(bg3)
p.add_layout(label3)
# 绘制第三象限
bg4 = BoxAnnotation(top=y_mean, left=x_mean,fill_alpha=0.1, fill_color='olive')
label4 = Label(x=0.7, y=0.80,text="少量大打折",text_font_size="10pt" )
p.add_layout(bg4)
p.add_layout(label4)
# 绘制第四象限
show(p)
运行代码可得下图。其中，x轴为参与打折商品比例，y轴为折扣力度，点的大小代表该品牌参加双11活动的商品总数
各美妆品牌双十一打折数值详情
总结：
品牌大致可分四类
- 少量少打折：包括雅诗兰黛、娇兰、兰蔻、薇姿、玉兰油等共5个品牌。
- 少量大打折：包括悦诗风吟、兰芝、欧珀莱等3个品牌。该类品牌的打折商品较少，但折扣力度较大。
- 大量小打折：包括妮维雅、美宝莲、蜜丝佛陀等3个品牌。该类型有半数以上的商品都参与了打折活动，但折扣力度并不大。
- 大量大打折：包括相宜本草、佰草集、自然堂等三大国产品牌。这些品牌不仅有90%以上的商品参与了折扣活动，而且折扣力度很大。
看到现在，18年的双十一，你还敢轻易“剁手”吗？（大量大打折的还是不错的，小声哔哔）