python数据分析实践（一）

记第一次运用Python对JSON格式文件进行数据处理

关于导入json文件的问题

• 导入数据

import json
	fp = open('abcd.json')     # 打开文件
	file_data = fp.readlines() # 按行读，导入数据
	fp.close()                 # 关闭文件

考虑不要按行读取数据，而是运用json自带的load()函数，对文件进行整体处理。

import json
with open("abcd.json",'r') as load_f:
     load_dict = json.load(load_f)

但是出现报错
json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 1243)

• 原因分析
  In the json lib ->decoder.py->decode function

if end != len(s):
	raise ValueError(errmsg("Extra data", s, end, len(s)))

解码json文件时，在文件本该结束的地方，文件却没有结束，便会报extra data的错误。对于我所解码的“abcd.json”文件，每一行是一个json格式的str数据，但是整体看的时候，它就不再是一个str，而是多个str的集合。load()函数解码完第一行看到"}"，发现文件应该结束了，结果发现还有第二行，所有报错extra data.

• 小结
  导入数据时，根据数据的格式采取相应的办法。这就意味着在处理数据之前，我们需要完全地了解我们所要处理的数据。

利用pandas的dataframe进行数据重建

• pandas.dataframe官方指南

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.html

class pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)

Two-dimensional size-mutable, potentially heterogeneous tabular data structure with labeled axes (rows and columns). Arithmetic operations align on both row and column labels. Can be thought of as a dict-like container for Series objects. The primary pandas data structure.
dataframe是一种二维的大小可变，成分混杂的列表数据结构，并且每个维度都带有标签（行和列），可以对行列进行算术运算的操作。dataframe可以被认为是一种用于容纳Series object的类似字典数据类型的容器，它是pandas最基本和主要的数据结构。

parameters：

data : numpy ndarray (structured or homogeneous), dict, or DataFrame

Dict can contain Series, arrays, constants, or list-like objects

index: Index or array-like

Index to use for resulting frame. Will default to np.arange(n) if no indexing information part of input data and no index provided

columns : Index or array-like

Column labels to use for resulting frame. Will default to np.arange(n) if no column labels are provided

dtype : dtype, default None

Data type to force, otherwise infer

copy : boolean, default False

Copy data from inputs. Only affects DataFrame / 2d ndarray input

至此是对pandas.dataframe官方指南的抄录和翻译。

• json原数据的整理和重建

import pandas as pd

def is_json(data):    # 判断是否为 json 格式
    try:
        json.loads(data)
    except ValueError:
        return False
    return True
    
# 建立一个空的 dataframe
df = pd.DataFrame(columns = ['Session','qhBegin','qhEnd','qhId','k1','k2','k3','k4','k5','k6','m2'])
# index = 1
for i in range(len(file_data)):
    if is_json(file_data[i]):
        json_data = json.loads(file_data[i])    # 变换数据类型，字符串变成字典
        if 'event' in list(json_data.keys()):
            event = json_data.get('event')         # 取key为event的value
            key_value = list(event.keys())          # 取出event字典里的keys，并转换为list
            Se = key_value[0]                       # 取出Session号
            event_data = event.get(Se)                    # 取出event数据
            dev_num = json_data.get('header').get('m2')  #取出设备号
            for j in range(len(event_data)):
                undata = event_data[j]
                # 取出event_data里的所有数据
                # qhBegin
                if 'qhBegin' in list(undata.keys()):
                    qhBegin = undata.get('qhBegin')
                else:
                    qhBegin = ''
                # qhEnd
                if 'qhEnd' in list(undata.keys()):
                    qhEnd = undata.get('qhEnd')
                else:
                    qhEnd = ''
                # qhId
                if 'qhId' in list(undata.keys()):
                    qhId = undata.get('qhId')
                else:
                    qhId = ''
                # k1
                if 'k1' in list(undata.keys()):
                    k1 = undata.get('k1')
                else:
                    k1 = ''
                # k2
                if 'k2' in list(undata.keys()):
                    k2 = undata.get('k2')
                else:
                    k2 = ''
                # k3
                if 'k3' in list(undata.keys()):
                    k3 = undata.get('k3')
                else:
                    k3 = ''
                # k4
                if 'k4' in list(undata.keys()):
                    k4 = undata.get('k4')
                else:
                    k4 = ''
                # k5
                if 'k5' in list(undata.keys()):
                    k5 = undata.get('k5')
                else:
                    k5 = ''
                # k6
                if 'k6' in list(undata.keys()):
                    k6 = undata.get('k6')
                else:
                    k6 = ''

                # 将event数据导入进dataframe
                #  方法1
                # df.loc[index] = [Se, qhBegin, qhEnd, qhId, k1, k2, k3, k4, k5, k6, dev_num]
                # index = index + 1

                # 方法2
                # df1 = pd.DataFrame([[Se, qhBegin, qhEnd, qhId, k1, k2, k3, k4, k5, k6, dev_num]],
                #                  columns=['Session','qhBegin','qhEnd','qhId','k1','k2','k3','k4','k5','k6','m2'])
                # df = df.append(df1)

                # 方法3
                df1 = pd.DataFrame([[Se, qhBegin, qhEnd, qhId, k1, k2, k3, k4, k5, k6, dev_num]],
                                   columns=['Session','qhBegin','qhEnd','qhId','k1','k2','k3','k4','k5','k6','m2'])
                df = pd.concat([df,df1],ignore_index=True)

• 小结
  以上代码为对数据基于pandas的dataframe进行重建，因为原本的json文件中的以event为key的数据并非每个column都有，比如有的数据有qhBegin, 有的数据没有；有的数据有k1，有的数据没有。因此，依次判断每个数据中的每个column，如果没有就赋值为空。下图为数据框建立后的大概样子。
  
  在将event数据导入到dataframe里时，试用了三种方法，发现方法3，运用pd.concat()速度最快，为了节约时间所以使用concat()，ignore_index表示是否忽视原本数据所带的index，并从0开始计数。loc()主要用于数据的修改和定位。

数据去重

在用户上传数据的过程中，经常会出现数据重传的问题，导致服务器中存在完全相同的数据，在重建完数据之后和进行数据处理之前就需要进行数据去重。

• pandas.dataframe.drop_duplicates官方指南

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html

DataFrame.drop_duplicates(subset=None, keep=’first’, inplace=False)

Return DataFrame with duplicate rows removed, optionally only considering certain columns.

parameters：

subset : column label or sequence of labels, optional

Only consider certain columns for identifying duplicates, by default use all of the columns

keep: {‘first’, ‘last’, False}, default ‘first’

• first : Drop duplicates except for the first occurrence.

• last : Drop duplicates except for the last occurrence.
• False : Drop all duplicates.

inplace : boolean, default False

Whether to drop duplicates in place or to return a copy

return:

deduplicated : DataFrame

至此是对pandas.dataframe官方指南的抄录。

# 删除完全重复的数据
df = df.drop_duplicates()
# 所有用户的数量
n_user = df.drop_duplicates(['m2']).__len__()


# 选取符合条件的数据并统计数量
df_t_e1 = df[(df.qhId=='e1')]
df_e1 = df_t_e1.drop_duplicates(['m2'],keep='last')   # 以设备号 m2 进行去重并取后面的数据
df_p_e1 = df_e1[(df_e1.qhEnd!='')]       # 通过新手引导
# 统计数据框的长度
e1_count = df_e1.__len__()
e1_p_count = df_p_e1.__len__()
# 计算通过率
e1_p_percent = e1_p_count/e1_count

• 小结
  上述代码是我代码段的其中一段体现了一些关于去重的思想，如果我们直接使用drop_duplicates(),那么我们去掉的是完全重复的数据，对于我的数据来说，去掉的数据一定与我保留的数据中的某一行所有column都相同，那么可想而知这是一定要去除的，不然就会重复计算。如果我们想只针对一个column或者几个column进行去重，那么我们就可以使用drop_duplicates([‘column1’,‘column2’,…])。最后一点也是比较重要的一点就是我们要保留哪一个，是第一个还是最后一个，还是所有重复的都不要。那么这个时候就要根据实际情况进行去重。 keep=‘first’,保留第一个;keep=‘last’,保留最后一个；keep=‘False’,都不保留。

数据画图

• 饼状图

# 新手任务通过率画图
plt.figure(1,figsize=(12,6))
plt.title('新手指导通过率')
labels = [u'通过新手指导',u'未通过新手指导']
sizes = [100*e1_p_percent,100-100*e1_p_percent]
colors = ['lavender','gold']
explode = [0.1,0]
patches,l_text,p_text = plt.pie(sizes,explode=explode,labels=labels,colors=colors,
                                labeldistance = 1.5,autopct = '%3.1f%%',shadow = True,
                                startangle = 0,pctdistance = 1.3)
# labeldistance，文本的位置离远点有多远，1.1指1.1倍半径的位置
# autopct，圆里面的文本格式，%3.1f%%表示小数有三位，整数有一位的浮点数
# shadow，饼是否有阴影
# startangle，起始角度，0，表示从0开始逆时针转，为第一块。一般选择从90度开始比较好看
# pctdistance，百分比的text离圆心的距离
# patches, l_texts, p_texts，为了得到饼图的返回值，p_texts饼图内部文本的，l_texts饼图外label的文本

# 改变文本的大小
# 方法是把每一个text遍历。调用set_size方法设置它的属性
for t in l_text:
    t.set_size(9)
for t in p_text:
    t.set_size(9)

# 设置x，y轴刻度一致，这样饼图才能是圆的
plt.axis('equal')
plt.legend()
plt.draw()
plt.savefig('新手引导.jpg')

饼状图的细节都在代码里了，如果出现无法保存为’jpg’的情况，说明你需要pip install pillow。

• 柱状图

# 选取符合条件的数据并统计数量
df_e3_k1 = df[(df.qhId=='e3')]
df_e3_k1_1 = df_e3_k1[(df_e3_k1.k6=='1')]      # 热情海岛
df_e3_k1_2 = df_e3_k1[(df_e3_k1.k6=='2')]      # 神秘东方
df_e3_k1_3 = df_e3_k1[(df_e3_k1.k6=='3')]      # 货运码头
df_e3_k1_4 = df_e3_k1[(df_e3_k1.k6=='4')]      # 沙漠风暴

df_e3_k1_1_temp = df_e3_k1_1['k1'].astype('int').copy()
df_e3_k1_2_temp = df_e3_k1_2['k1'].astype('int').copy()
df_e3_k1_3_temp = df_e3_k1_3['k1'].astype('int').copy()
df_e3_k1_4_temp = df_e3_k1_4['k1'].astype('int').copy()

# 统计热情海岛里程
e3_k1_1_b4_count = df_e3_k1_1_temp[df_e3_k1_1_temp<=4000].__len__()
e3_k1_1_f4t8_count = df_e3_k1_1_temp[(df_e3_k1_1_temp>4000) & (df_e3_k1_1_temp<=8000)].__len__()
e3_k1_1_f8t12_count = df_e3_k1_1_temp[(df_e3_k1_1_temp>8000) & (df_e3_k1_1_temp<=12000)].__len__()
e3_k1_1_a12_count = df_e3_k1_1_temp[df_e3_k1_1_temp>12000].__len__()
e3_k1_1 = np.array([e3_k1_1_b4_count, e3_k1_1_f4t8_count, e3_k1_1_f8t12_count, e3_k1_1_a12_count])

# 统计神秘东方里程
e3_k1_2_b4_count = df_e3_k1_2_temp[df_e3_k1_2_temp<=4000].__len__()
e3_k1_2_f4t8_count = df_e3_k1_2_temp[(df_e3_k1_2_temp>4000) & (df_e3_k1_2_temp<=8000)].__len__()
e3_k1_2_f8t12_count = df_e3_k1_2_temp[(df_e3_k1_2_temp>8000) & (df_e3_k1_2_temp<=12000)].__len__()
e3_k1_2_a12_count = df_e3_k1_2_temp[df_e3_k1_2_temp>12000].__len__()
e3_k1_2 = np.array([e3_k1_2_b4_count, e3_k1_2_f4t8_count, e3_k1_2_f8t12_count, e3_k1_2_a12_count])

# 统计货运码头里程
e3_k1_3_b4_count = df_e3_k1_3_temp[df_e3_k1_3_temp<=4000].__len__()
e3_k1_3_f4t8_count = df_e3_k1_3_temp[(df_e3_k1_3_temp>4000) & (df_e3_k1_3_temp<=8000)].__len__()
e3_k1_3_f8t12_count = df_e3_k1_3_temp[(df_e3_k1_3_temp>8000) & (df_e3_k1_3_temp<=12000)].__len__()
e3_k1_3_a12_count = df_e3_k1_3_temp[df_e3_k1_3_temp>12000].__len__()
e3_k1_3 = np.array([e3_k1_3_b4_count, e3_k1_3_f4t8_count, e3_k1_3_f8t12_count, e3_k1_3_a12_count])

# 统计沙漠风暴里程
e3_k1_4_b4_count = df_e3_k1_4_temp[df_e3_k1_4_temp<=4000].__len__()
e3_k1_4_f4t8_count = df_e3_k1_4_temp[(df_e3_k1_4_temp>4000) & (df_e3_k1_4_temp<=8000)].__len__()
e3_k1_4_f8t12_count = df_e3_k1_4_temp[(df_e3_k1_4_temp>8000) & (df_e3_k1_4_temp<=12000)].__len__()
e3_k1_4_a12_count = df_e3_k1_4_temp[df_e3_k1_4_temp>12000].__len__()
e3_k1_4 = np.array([e3_k1_4_b4_count, e3_k1_4_f4t8_count, e3_k1_4_f8t12_count, e3_k1_4_a12_count])

# 玩家完成里程画图
plt.figure(3,figsize=(12,6))
plt.title('玩家完成里程')
X = np.arange(0,10,2.5)
plt.bar(X,e3_k1_1,width = 0.5,facecolor = 'gold',edgecolor = 'white',label='热情海岛')
plt.bar(X+0.5,e3_k1_2,width = 0.5,facecolor = 'y',edgecolor = 'white',label='神秘东方')
plt.bar(X+1,e3_k1_3,width = 0.5,facecolor = 'yellowgreen',edgecolor = 'white',label='货运码头')
plt.bar(X+1.5,e3_k1_4,width = 0.5,facecolor = 'forestgreen',edgecolor = 'white',label='沙漠风暴')
# width:柱的宽度
# 水平柱状图plt.barh，属性中宽度width变成了高度height
# 打两组数据时用+
# facecolor柱状图里填充的颜色
# edgecolor是边框的颜色
# 想把一组数据打到下边，在数据前使用负号
# 给图加text
for x,y in zip(X,e3_k1_1):
    plt.text(x, y+0.05, y, ha='center', va= 'bottom')     # '%.2f' % y   保留小数后两位
for x,y in zip(X,e3_k1_2):
    plt.text(x+0.5, y+0.05, y, ha='center', va= 'bottom')
for x,y in zip(X, e3_k1_3):
    plt.text(x+1, y+0.05, y, ha='center', va='bottom')
for x,y in zip(X, e3_k1_4):
    plt.text(x+1.5, y+0.05, y, ha='center', va='bottom')
# 设定y轴长度 plt.ylim(0,+

# 改变x轴刻度和显示文本
x = [0.75,3.25,5.75,8.25]
group_labels = ['4K以下','4K-8K','8K-12K','12K以上']
plt.xticks(x,group_labels,rotation=0)

plt.ylabel('次数',rotation=0)
plt.xlabel('分布区间')
plt.legend()
plt.draw()
plt.savefig('完成里程.jpg')

以上代码为数据提取以及画柱状图的细节。

一些小东西

# 添加中文字体
from pylab import *
mpl.rcParams['font.sans-serif'] = ['SimHei']

# 模仿matlab tic, toc
import time
def tic():
    globals()['bt'] = time.clock()
def toc():
    print ('所用时间为: %.2f seconds' % (time.clock()-globals()['bt']))

# 开启interactive mode
import matplotlib.pyplot as plt
plt.ion()
# plt.show() 会打断程序进行，为了计算程序运行时长，第一我们可以照上面将图片保存成jpg格式，第二我们可以运用plt.show()，不过需要添加plt.ion()，避免程序需要手动关掉图片才能继续运行。

最后附上别人写的关于python中matplotlib的颜色的博客链接

http://www.cnblogs.com/darkknightzh/p/6117528.html

参考网址
[1]: http://www.jianshu.com/p/0a76c94e9db7
[2]: http://www.th7.cn/Program/Python/201702/1098655.shtml
[3]: http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference

---