python应用:使用jupyter做数据分析与挖掘

最近在用anaconda自带的编辑器jupyter恶补数据分析,发现还蛮好用的。当在这里做做记录和学习总结,持续更新,希望大家讨论一二:

python应用:使用jupyter做数据分析与挖掘_第1张图片

关于jupyter的快捷键这是我用的最多的几个。

ESC进入命令模式:

  • Shift-Enter : 运行本单元,选中下个单元
  • Ctrl-Enter : 运行本单元
  • 1 : 设定 1 级标题
  • A : 在上方插入新单元
  • B : 在下方插入新单元
  • D,D : 删除选中的单元
  • Shift-M : 合并选中的单元

编辑模式就没什么好说的了,很普通。

操作就是直接在anaconda中打开jupyter输入代码即可。

(以下代码均可以直接使用,唯一需要修改的就是导入本地的excel表格那一行,建议直接放在桌面 :

位置:右键-属性-位置 复制 把“\”换成“/”即可)

 

一:数据关系

 

1.统计量分析

即最简单的标准差,数量,平均值,范围,变异系数(标准差/平均值)等数值的计算

# 回稳率统计
from __future__ import print_function #用于代码兼容
import pandas as pd #pandas 导入pandas库
rates = '' #输入数据(excel表格)所在位置
data = pd.read_excel(rates)  #读取数据
statistics = data.describe()  #保存基本统计量
statistics.loc['range'] = statistics.loc['max']-statistics.loc['min']  #极差
statistics.loc['var'] = statistics.loc['std']/statistics.loc['mean']  #变异系数
statistics.loc['dis'] = statistics.loc['75%']-statistics.loc['25%']  #四分位数间距
print(statistics)

输出结果如下:

python应用:使用jupyter做数据分析与挖掘_第2张图片

 


 

2.异常值分析

异常值即数据中存在不合理数据需要进行剔除,即箱模型上下界的数据,

代码如下:

import pandas as pd

example2 = 'C:/Users/chinaunicom/Desktop/例子2.xls' #导入数据,文件在桌面

data = pd.read_excel(example2, index_col = u'日期') #读取数据,指定“日期”列为索引列

import matplotlib.pyplot as plt #导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure() #建立图像
p = data.boxplot(return_type='dict') #画箱线图,直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即为异常值的标签
y = p['fliers'][0].get_ydata()
y.sort() #从小到大排序,该方法直接改变原对象

#用annotate添加注释
#其中有些相近的点,注解会出现重叠,难以看清,需要一些技巧来控制。
#以下参数都是经过调试的,需要具体问题具体调试。
for i in range(len(x)): 
  if i>0:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
  else:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))
plt.show() #展示箱线图

输入结果如下(箱模型):

python应用:使用jupyter做数据分析与挖掘_第3张图片

上下界有7个数据需要进行剔除

 

 


3.贡献度分析

贡献度分析又称为帕累托分析,2/8定律。例如:对一个公司来讲,80%的利率来自于20%的最畅销产品,其他80%只产生20%的利润,如某个餐厅不同菜品的盈利贡献:

 

python应用:使用jupyter做数据分析与挖掘_第4张图片

代码如下:

#-*- coding: utf-8 -*-
#菜品盈利数据 帕累托图
from __future__ import print_function
import pandas as pd

#初始化参数
dish_profit ='C:/Users/chinaunicom/Desktop/catering_dish_profit.xls' #餐饮菜品盈利数据
data = pd.read_excel(dish_profit, index_col = u'菜品名')
data = data[u'盈利'].copy()
data.sort_index(ascending = False)

import matplotlib.pyplot as plt #导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure()
data.plot(kind='bar')
plt.ylabel(u'盈利(元)')
p = 1.0*data.cumsum()/data.sum()
p.plot(color = 'r', secondary_y = True, style = '-o',linewidth = 2)
plt.annotate(format(p[6], '.4%'), xy = (6, p[6]), xytext=(6*0.9, p[6]*0.9), arrowprops=dict(arrowstyle="->", connectionstyle="arc3,rad=.2")) #添加注释,即85%处的标记。这里包括了指定箭头样式。
plt.ylabel(u'盈利(比例)')
plt.show()

 

python应用:使用jupyter做数据分析与挖掘_第5张图片

菜品名和盈利比例


 

4 相关性分析:

pearson:

相关性最主要的指标就是r

r<=0.3 不存在线性相关

0.3

r>0.8为高度线性相关

spearman秩相关:

两个变量具有严格单调的函数关系,就完全spearman相关,用r*2表示,0<=r*2<=1.

 

举例:

python应用:使用jupyter做数据分析与挖掘_第6张图片

 

分析菜品销量之间的相关性可以得到不同菜品的联系,如互补菜品或者没有关系,为原材料采购提供参考

代码:

#-*- coding: utf-8 -*-

#餐饮销量数据相关性分析
from __future__ import print_function
import pandas as pd

catering_sale = '../data/catering_sale_all.xls' #餐饮数据,含有其他属性
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据,指定“日期”列为索引列

data.corr() #相关系数矩阵,即给出了任意两款菜式之间的相关系数
data.corr()[u'百合酱蒸凤爪'] #只显示“百合酱蒸凤爪”与其他菜式的相关系数
data[u'百合酱蒸凤爪'].corr(data[u'翡翠蒸香茜饺']) #计算“百合酱蒸凤爪”与“翡翠蒸香茜饺”的相关系数

结果如下:

python应用:使用jupyter做数据分析与挖掘_第7张图片

百合酱蒸凤爪与其他菜品的相关性

 


二:数据关系

1.数据缺失值进行插补

拉格朗日插值法:

python应用:使用jupyter做数据分析与挖掘_第8张图片

代码如下:

#拉格朗日插值代码
import pandas as pd #导入数据分析库Pandas
from scipy.interpolate import lagrange #导入拉格朗日插值函数

inputfile = 'C:/Users/chinaunicom/Desktop/catering_sale.xls'
outputfile = 'C:/Users/chinaunicom/Desktop/catering.xls'

data = pd.read_excel(inputfile) #读入数据
data[u'销量'][(data[u'销量'] < 400) | (data[u'销量'] > 5000)] = None #过滤异常值,将其变为空值

#自定义列向量插值函数
#s为列向量,n为被插值的位置,k为取前后的数据个数,默认为5
def ployinterp_column(s, n, k=5):
  y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数
  y = y[y.notnull()] #剔除空值
  return lagrange(y.index, list(y))(n) #插值并返回插值结果

#逐个元素判断是否需要插值
for i in data.columns:
  for j in range(len(data)):
    if (data[i].isnull())[j]: #如果为空即插值。
      data[i][j] = ployinterp_column(data[i], j)

data.to_excel(outputfile) #输出结果,写入文件

python应用:使用jupyter做数据分析与挖掘_第9张图片

插入缺失值4156.86

 

 


2.数据规范化

将数据按照比例进行缩放,是之落到一个特定的区域,如工资映射到[-1,1]或者[0,1]

(1)最小-最大规范化:离查差标准化

公式如下:x*= x-min/max-min

(2)零-均值规范化:标准差标准化

x*=x-x(平均值)/σ

是使用最多的数据标准化的方法

(3)小数定标志规范化
x=x/10**k

取决于属性绝对值的最大值

 

举例:

python应用:使用jupyter做数据分析与挖掘_第10张图片

代码如下:

#-*- coding: utf-8 -*-

#数据规范化

import pandas as pd
import numpy as np

datafile = '../data/normalization_data.xls' #参数初始化
data = pd.read_excel(datafile, header = None) #读取数据

print((data - data.min())/(data.max() - data.min())) #最小-最大规范化
print((data - data.mean())/data.std()) #零-均值规范化
print(data/10**np.ceil(np.log10(data.abs().max()))) #小数定标规范化

输出结果如下:

python应用:使用jupyter做数据分析与挖掘_第11张图片

 

 


3.连续属性离散化

将连续属性变换成分类属性,即连续属性离散化。

常用方法:

(1)等宽法 (2)等频法 (3)基于聚类的分析方法

举例:

 

python应用:使用jupyter做数据分析与挖掘_第12张图片

对医学中中医证型分别上述三种方法连续属性离散化,代码如下:

#-*- coding: utf-8 -*-
#数据规范化
import pandas as pd

datafile = 'C:/Users/chinaunicom/Desktop/discretization_data.xls' #参数初始化
data = pd.read_excel(datafile) #读取数据
data = data[u'肝气郁结证型系数'].copy()
k = 4

d1 = pd.cut(data, k, labels = range(k)) #等宽离散化,各个类比依次命名为0,1,2,3

#等频率离散化
w = [1.0*i/k for i in range(k+1)]
w = data.describe(percentiles = w)[4:4+k+1] #使用describe函数自动计算分位数
w[0] = w[0]*(1-1e-10)
d2 = pd.cut(data, w, labels = range(k))

#一维聚类
from sklearn.cluster import KMeans #引入KMeans
kmodel = KMeans(n_clusters = k, n_jobs = 4) #建立模型,n_jobs是并行数,一般等于CPU数较好
kmodel.fit(data.values.reshape((len(data), 1))) #训练模型
c = pd.DataFrame(kmodel.cluster_centers_).sort_values(0) #输出聚类中心,并且排序(默认是随机序的)
w = c.rolling(2).mean().iloc[1:]#相比两项求中点,作为边界线
w = [0] + list(w[0]) + [data.max()] #把首末边界点加上
d3 = pd.cut(data, w, labels = range(k))

def cluster_plot(d, k): #自定义作图函数来显示聚类结果
  import matplotlib.pyplot as plt
  plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
  plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
  
  plt.figure(figsize = (8, 3))
  for j in range(0, k):
    plt.plot(data[d==j], [j for i in d[d==j]], 'o')
  
  plt.ylim(-0.5, k-0.5)
  return plt

cluster_plot(d1, k).show()

cluster_plot(d2, k).show()
cluster_plot(d3, k).show()

 

输出结果:

1等宽法 :将属性的值域分为具有相同宽度的区间

python应用:使用jupyter做数据分析与挖掘_第13张图片

2等频法:将相同数量的记录放进每个区间

python应用:使用jupyter做数据分析与挖掘_第14张图片

 

3 基于k-means一维聚类

python应用:使用jupyter做数据分析与挖掘_第15张图片

 


4.属性构造

即利用已有的属性构造新的属性,如进行防窃漏电诊断建模时,已有属性包括供入电量和供出电量(即各大用户的用电之和理论上相等),但如果存在窃电行为,会使得供入电量明显大于供出电量,我们构造属性如下:

线损率 = (供入电量-供出电量)/供入电量 X100%

一般在3%-15%,如果超过该范围,则很可能存在漏电行为

python应用:使用jupyter做数据分析与挖掘_第16张图片

 

代码如下:

#折损率构造
import pandas as pd

#参数初始化
#文件输入路径
inputfile = "C:/Users/chinaunicom/Desktop/electricity_data.xls" 
#文件输出路径
outputfile = "C:/Users/chinaunicom/Desktop/electricity_rate.xls"
# 读取数据
data = pd.read_excel(inputfile)
data[u'折损率'] = (data[u'供入电量']-data[u'供出电量'])/data[u'供入电量']

data.to_excel(outputfile,index = False)

 

输入如下:

python应用:使用jupyter做数据分析与挖掘_第17张图片

其实用excel更容易,主要是构造属性的思维

 

 


 

有朋友说要原本文件的excel,那就分享一下...

 

链接:https://pan.baidu.com/s/1m92g8n5UdVBfuf70zCwtIw

提取码:90zo

你可能感兴趣的:(python语法,python数据分析,计算机基础,配置)