Pandas100秒处理一亿行数据

Python数据处理心得－－Pandas100秒处理一亿行数据


1. 背景－为啥要用pandas
公司的日常运营数据通过大数据平台（HIVE SQL）通过汇总后，推送给业务部门进行日常分析的数据仍然非常大。从数据量从PB&TB级降到了GB级，一般主要通过Mysql进行存储&聚合分析。
日或周的数据，mysql处理还是可以的。到月数据，超过10GB（1亿行），处理起来就开始吃力，数据吞吐特别慢，内存资源占用特别严重。
使用Pandas后，普通笔记本电脑可以很轻松地处理1亿行的数据，100秒内就能完成计算， 计算实现的成本非常低。


2. Pandas介绍
很多方法可以解决这个问题，由于希望用单机版的开源软件，正好python日常用的也比较多，于是使用pandas来解决这个问题。
pandas是numpy的基础发展出来的, pandas的DataFrame数据结构相当于多个numpy series组合在一起。
为了更直观地了解pandas，打算通过一个模拟数据的分析过程来介绍pandas的用法。


使用软件的版本
anaconda3-4.1.1 (Python 3.5)
Jupiter notebook (4.2.1)
Pandas包 0.18.1 (anaconda自带的)


3. 生产模拟数据
我们先模拟一个一亿行的数据，然后测试用pandas的代码进行汇总分析，并且记录耗时&及内存&CUP的大致占用情况。
基本需要把数据切成小块处理，否则内存占用会特别高，内存不足，python无法运行下去。
如果电脑有32GB内存的，可以直接抽取1亿行样本数据，不用使用循环进行数据重复，这样的内存消耗是25GB。
如果用下面的循环，内存占用只有几百MB。
############################################################################
import pandas as pd
import numpy as np
import csv


date= ['2017-11-01', '2017-11-02','2017-11-03','2017-11-04','2017-11-05','2017-11-06','2017-11-07']
#设置日期数据，为后面的np.random.choice引用
area= ['华北', '华东', '华南','西南','华中','东北','西北']
order_type =[0, 1, 2, 3, 4 ,5 ,6 ,7 ,8, 9]


col1=np.random.choice(date, 1000000, p=[0.15, 0.15, 0.15, 0.15, 0.15, 0.15, 0.1])
#随机抽样100万次，各个日常出现的概率是P。
col2=np.random.choice(area, 1000000, p=[0.2, 0.2, 0.2, 0.1, 0.1, 0.1, 0.1])
col3=np.random.choice(order_type, 1000000, p=[0.05, 0.2, 0.2, 0.1, 0.1, 0.1, 0.1, 0.05, 0.05, 0.05])
col4=np.random.choice(100, 1000000)
col5=np.random.choice(10000, 1000000)


df = pd.DataFrame({'date':col1, 'area':col2, 'order_type':col3, 'qty':col4, 'revenue':col5})
df=df.set_index('date')
#合并各个numpy生产的随机数据成为Pandas的DataFrame


with open('E:\\mess_files\\sample_data.csv','w', newline='\n') as csvfile: 
    writer = csv.writer(csvfile)
    #先写入columns_name
    writer.writerow(['date','area','order_type','qty','revenue'])


#为了减少内存占用，没有直接在上面生成1亿行数据，先生产100万，然后循环100次。
for i in range(100):
    i=i+1
    df.to_csv ('E:\\mess_files\\sample_data.csv', encoding='gbk', header=False, mode='a')
    print(i*1000000)


############################################################################


4. 数据分析代码
涉及的功能：读取数据，增加计算字段，group by ，merge( left join)， index (set & reset)， 输出数据（CSV & excel）。


############################################################################
import pandas as pd
import time
import csv


start = time.clock()
#开始计时


with open('E:\\mess_files\\pd_sum.csv','w', newline='\n') as csvfile: 
    writer = csv.writer(csvfile)
    #先写入columns_name
    writer.writerow(['date','area','order_type','qty','revenue'])
#为汇总的输出，建立一个CSV文件，并包含表头字段明。
    
#分块（每100万行）进行数据汇总, 并循环写入csv中    


reader = pd.read_csv('E:\\mess_files\\sample_data.csv', encoding='gbk',sep=',',iterator=True)
i=0 
while True:
    try:
        start2 = time.clock()
        #每次循环开始时间
        
        # 从csv文件迭代读取
        df = reader.get_chunk(1000000)
        
        
        mini_sum=df.groupby(['date','area','order_type']).sum()
        #按date, area, order_type 进行汇总
        mini_sum.to_csv('E:\\mess_files\\pd_sum.csv',mode='a',header=False)
        #汇总结果写入CSV文件，'header=False' 避免重复写入表头。
    
    
        
        # 计时
        i=i+1
        end2 = time.clock()
        #每次循环结束时间
        print('{} 秒: completed {} rows'.format(end2 - start2, i * 1000000))
    except StopIteration:
        print("Iteration is stopped.")
        #循环结束退出
        
        break






df=pd.read_csv('E:\\mess_files\\pd_sum.csv', encoding='gbk',sep=',')


df=df.groupby(['date','area','order_type']).sum()


df=df.reset_index()
#pandas汇总时，会根据groupby的字段建立multi_index, 需要重置index。


df['date']=pd.to_datetime(df['date'])
#将date列 设置为日期类型


df['avg']=df['revenue']/df['qty']
#增加一个计算字段 avg 平均客单价


df_sub=df[['date','area','qty']].groupby(['date','area']).sum().add_prefix('sum_')
#建立一个新DataFrame, 用于后面的left join 计算各个order_type的占比


df_merge=pd.merge(df, df_sub, how='outer', left_on=['date','area'], right_index=True)
#相当于SQL的left join


df_merge['type_qty%']=df_merge['qty']/df_merge['sum_qty']
#增加计算字段


df_merge=df_merge.set_index('date')


output=pd.ExcelWriter('E:\\mess_files\\output_xls.xlsx')
df_merge.to_excel(output,'sheet1')
output.save()
#最终结果输出到excel


end = time.clock()
#最终使用时间计时
print('final{} 秒'.format(end - start))


###############################################################################
使用了两台机器进行数据运算，DELL R720 2U SAS硬盘 96GB内存的服务器，Thinkpad E450 SSD硬盘 i5 8G内存的笔记本电脑。
运行时，CUP占用率服务器5%，笔记本30%， 总内存占用都是约6GB，耗时也非常接近， 每处理100万行用时在 1秒种以内， 处理1亿行数据的运算还是很轻松的。


服务器循环每次计算100万行用时 0.8秒， 总用时79.3秒。
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃


0.789916201370346 秒: completed 90000000 rows
0.7889745154019323 秒: completed 91000000 rows
0.7875460356832349 秒: completed 92000000 rows
0.7883160047623932 秒: completed 93000000 rows
0.7929830807664189 秒: completed 94000000 rows
0.7884885093438072 秒: completed 95000000 rows
0.8129294153000615 秒: completed 96000000 rows
0.8298620396579395 秒: completed 97000000 rows
0.787222294208533 秒: completed 98000000 rows
0.7879615432937328 秒: completed 99000000 rows
0.7891974322811279 秒: completed 100000000 rows
Iteration is stopped.
final79.22691993069884 秒


＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃


笔记本电脑循环每次计算100万行用时 0.83， 总用时85.1秒。


＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃


0.817601222058812 秒: completed 92000000 rows
0.8092709856398557 秒: completed 93000000 rows
0.8277913177203118 秒: completed 94000000 rows
0.8203788228361191 秒: completed 95000000 rows
0.8211909342874009 秒: completed 96000000 rows
0.8238487924599838 秒: completed 97000000 rows
0.825806156394961 秒: completed 98000000 rows
0.8143844225134984 秒: completed 99000000 rows
0.8465947555305036 秒: completed 100000000 rows
Iteration is stopped.
final85.11640178604648 秒


＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃