数据分析之特征分析（一）

1 数据质量分析

数据质量分析的主要任务是检查原始数据中是否存在脏数据。

脏数据包括如下内容：

• 缺失值
  缺失值的处理分为删除存在缺失值的记录、对可能值进行插值处理和不处理
• 异常值
  • 简单统计分析：描述性统计，获取最大最小值等
  • 3$\sigma$原则：如果数据服从正态分布，在3$\sigma$原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值，出现概率为P(| x - $\mu$ |>3$\sigma$) $\leq$0.003
  • 箱型图分析：异常值被定义为小于Q_L - 1.5IQR或大于Q_U + 1.5IQR (Q_L：下四分位数Q_U：上四分位数)
• 不一致的值
• 重复数据及含有特殊符号（如#、￥、*）的数据`
• 箱型图分析检测异常值

  import  pandas as pd 
  catering_sale =  "data/catering_sale.xls"
  data = pd.read_excel(catering_sale,index_col="日期")
  import  matplotlib.pyplot  as plt 
  plt.rcParams['font.sans-serif'] = ["SimHei"] # 正常显示中文标签
  plt.rcParams['axes.unicode_minus'] = False # 正常显示负号
  plt.figure()
  # 画箱型图，直接使用DataFrame方法
  p = data.boxplot(return_type='dict') 
  x = p['fliers'][0].get_xdata() # fliers 为异常值标签
  y = p['fliers'][0].get_ydata()
  # 排序（由小到大，升序）
  y.sort()
  for  i in range(len(x)):
      if i > 0:
          plt.annotate(y[i],xy = (x[i],y[i]),xytext = (x[i]+0.05 - 0.8/(y[i] - y[i-1]),y[i]))
      else:
          plt.annotate(y[i],xy = (x[i],y[i]),xytext = (x[i]+0.08,y[i]))
  plt.show()
  

2分布分析

分布分析：研究数据的分布特征和分布类型，通过定量数据、定性数据区分基本统计量

• 定量数据：求极差、组距、组数、分点、列出频率分布表，通过绘制散点图、频率直方图等方式理解数据并为下一步深入探索数据提供依据
• 定性数据：定性的数据常常使用变量来分组，通过绘制饼图、条形直方图等方式展示数据分布情况

2.1 实例分析

# 数据读取
import  pandas as pd 
import matplotlib.pyplot as  plt  
catering_sale =  "data/catering_sale.xls"
data = pd.read_excel(catering_sale,index_col="日期")
data.head()
# 求极差
def d_range(df,*cols):
    krange = []
    for col in cols:
        crange = df[col].max() - df[col].min()
        krange.append(crange)
    return krange
dr =  d_range(data,"销量")
print("销量极差为 %f" % dr[0]) 
# 频率分布
data["销量"].hist(bins=5)
plt.show()
# 频率分布情况，划分区间
gcut = pd.cut(data["销量"],6,right = False)
gcut_count = gcut.value_counts(sort = False)
data["销量分组区间"] = gcut.values
data.head()
# 区间出现频率
r_zj =  pd.DataFrame(gcut_count)
r_zj.rename(columns={gcut_count.name:'频数'},inplace=True)
r_zj['频率'] = r_zj['频数']/r_zj["频数"].sum()
r_zj["累计频率"] = r_zj['频率'].cumsum()
r_zj['频率%'] =  r_zj['频率'].apply(lambda x:"%.2f" % (x*100))
r_zj['累计频率%'] =  r_zj['累计频率'].apply(lambda x:"%.2f" % (x*100))
r_zj.style.bar(subset=['频率','累计频率'])
# 直方图
r_zj["频率"].plot(kind = "bar",
figsize =(9,5),
grid = True,
color = 'k',
alpha = 0.6,
)
plt.xticks(rotation = 60)
# 增加标签
for i,j,k in zip(range(len(r_zj)),r_zj["频率"],r_zj["频数"]):
    plt.text(i-0.1,j+0.1,'%i' % k, color = 'k')