python处理大型数据的csv

在训练机器学习模型的过程中,源数据常常不符合我们的要求。大量繁杂的数据,需要按照我们的需求进行过滤。拿到我们想要的数据格式,并建立能够反映数据间逻辑结构的数据表达形式。 
最近就拿到一个小任务,需要处理70多万条数据。

我们在处理CSV文件时,经常使用的大熊猫,可以帮助处理较大的CSV文件。

大熊猫中处理CSV文件的函数主要为read_csv() 状语从句:to_csv()这两个,其中read_csv() 读取CSV文件的内容并返回DataFrameto_csv() 则是其逆过程。

在一前的博客中,曾写过用大熊猫按照一行一行的方式来取取CSV文件的方式,具体可以看这篇链接.Python基础:CSV文件的读写(熊猫,CSV两种方式) 
但这样读取的方式,显然比较低效,下面是我自己在处理数据时使用过的一些比较实用的方法。

1.读取限定列

一个CSV文件中,往往有很多不同的列,而我们通常只关注其中的某些列,如果把每行都读取出来,再提取信息,显然会增加IO量,因此我们可以在读文件的时候,定给read_csv()方法的参数,从而提高效率。

file = pd.read_csv('demo.csv',usecols=['column1', 'column2', 'column3'])

usecols参数中,给定了要读取的3列,文件中则只包含这3列的信息。

2.读取限定行

实际写代码的过程中,往往需要先跑一部分数据进行测试,测试通过后,再处理所有的数据。也可能我们仅仅需要一部分数据进行运算。时候这就可以使用read_csv()方法中的nrows参数,设定读取的行数。

file = pd.read_csv('demo.csv',nrows=1000,usecols=['column1', 'column2', 'column3'])

仅读取前1000行数据。

3.分块读取

read_csv()方法中还有一个参数,chunksize可以指定一个CHUNKSIZE分块大小来读取文件。与直接使用DF进行遍历不同的是,查看报道的它英文的一个TextFileReader类型的对象。

 
  1. reader = pd.read_csv('demo.csv',nrows=10000,

  2. usecols=['column1','column2','column3'],

  3. chunksize=1000,iterator=True)

  4. reader

输出: 

4.其他

头()和尾部()

拿到一个很大的CSV文件后,为了看清文件的格式,可以使用该方法,先查看前10条数据。头()方法默认是10条,也可以用尾()方法查看最后10条数据。

 
  1. file = pd.read_csv('demo.csv')

  2. df = pd.DataFrame(file)

  3.  
  4. df.head()

  5. df.tail()

目前用到的就是这些,之后用到再补充。

拿到数据之后,分析数据之间的逻辑,建立相应的能够表示数据间逻辑关系的数据结构,再进行相应的处理。

原文链接:https://blog.csdn.net/ninnyyan/article/details/80999378

 

使用pandas分块处理大文件

问题:今天在处理快手的用户数据时,遇到了一个差不多600M的TXT文本,用升华打开都蹦了,我用pandas.read_table()去读,差不多花了近2分钟,最后打开发现差不多3千万行数据。这仅仅是打开,如果要处理不知得多费劲。

解决:我翻了一下文档,这一类读取文件的函数有两个参数:chunksizeiterator

原理就是不一次性把文件数据读入内存中,而是分多次。

1,指定CHUNKSIZE分块读取文件

read_csv 和  read_table 有一个chunksize参数,用以指定一个块大小(每次读取多少行),返回一个可迭代的  TextFileReader 对象。

 
  1. table=pd.read_table(path+'kuaishou.txt',sep='\t',chunksize=1000000)

  2. for df in table:

  3. 对df处理

  4. #如df.drop(columns=['page','video_id'],axis=1,inplace=True)

  5. #print(type(df),df.shape)打印看一下信息

  • 1
  • 2
  • 3
  • 4

我这里又对文件进行了划分,分成若干个子文件分别处理(没错,to_csv也同样有CHUNKSIZE参数)

2,指定迭代=真

iterator=True报道查看同样的的英文TextFileReader对象

 
  1. reader = pd.read_table('tmp.sv', sep='\t', iterator=True)

  2. df=reader.get_chunk(10000)

  3. #通过get_chunk(size),返回一个size行的块

  4. #接着同样可以对df处理

  • 1
  • 2
  • 3
  • 4

直接看看大熊猫在文档方面这一内容的吧。

原文链接:https://www.cnblogs.com/frchen/p/5749814.html

使用Python Pandas处理亿级数据

在数据分析领域,最热门的莫过于的Python和R语言,此前有一篇文章“ 别老扯什么的Hadoop了,你的数据根本不够大 ”指出:只有在超过5TB数据量的规模下,Hadoop的才是一个合理的技术选择这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过的Hadoop对大量文本进行分类,这次决定采用的Python来处理数据:

  • 硬件环境
    • CPU:3.5 GHz Intel Core i7
    • 内存:32 GB HDDR 3 1600 MHz
    • 硬盘:3 TB Fusion Drive
  • 数据分析工具
    • 的Python:2.7.6
    • 熊猫:0.15.0
    • IPython笔记本:2.0.0

源数据如下表所示:

  尺寸 说明
ServiceLogs 98,706,832行x 14列 8.77 GB 交易日志数据,每个交易会话可以有多条交易
ServiceCodes 286行×8列 20 KB 交易分类的字典表

数据读取

启动IPython notebook,加载pylab环境:

ipython notebook --pylab=inline

大熊猫提供了IO工具可以将大文件分块读取,测试了一下性能,完整加载9800万条数据也只需要263秒左右,还是相当不错了。

 
  1. import pandas as pd

  2. reader = pd.read_csv('data/servicelogs', iterator=True)

  3. try:

  4. df = reader.get_chunk(100000000)

  5. except StopIteration:

  6. print "Iteration is stopped."

  1百万条 1千万条 1亿条
ServiceLogs 1秒 17秒 263秒

使用不同分块大小来读取再 调用pandas.concat  连接数据帧,CHUNKSIZE设置在1000万条左右速度优化比较明显。

 
  1. loop = True

  2. chunkSize = 100000

  3. chunks = []

  4. while loop:

  5. try:

  6. chunk = reader.get_chunk(chunkSize)

  7. chunks.append(chunk)

  8. except StopIteration:

  9. loop = False

  10. print "Iteration is stopped."

  11. df = pd.concat(chunks, ignore_index=True)

下面是统计数据,读取时间是数据读取时间,总时间是读取和Pandas进行concat操作的时间,根据数据总量来看,对5~50个DataFrame对象进行合并,性能表现比较好。

块大小 阅读时间 总时间 性能
100000 224.418173 261.358521  
200000 232.076794 256.674154  
百万 213.128481 234.934142 √√
2000000 208.410618 230.006299 √√√
5000000 209.460829 230.939319 √√√
10,000,000 207.082081 228.135672 √√√√
20000000 209.628596 230.775713 √√√
50000000 222.910643 242.405967  
亿 263.574246 263.574246  

 

如果使用Spark提供的Python Shell,同样编写Pandas加载数据,时间会短25秒左右,看来Spark对Python的内存使用都有优化。

数据清洗

大熊猫提供了  DataFrame.describe  方法查看数据摘要,包括数据查看(默认共输出首尾60行数据)和行列统计。由于源数据通常包含一些空值甚至空列,会影响数据分析的时间和效率,在预览了数据摘要后,需要对这些无效数据进行处理。

首先调用  DataFrame.isnull()  方法查看数据表中哪些为空值,与它相反的方法是  DataFrame.notnull() ,Pandas会将表中所有数据进行null计算,以真/假作为结果进行填充,如下图所示:

大熊猫的非空计算速度很快,9800万数据也只需要28.7秒。得到初步信息之后,可以对表中空列进行移除操作。尝试了按列名依次计算获取非空列,和  DataFrame.dropna( )  两种方式,时间分别为367.0秒和345.3秒,但检查时发现dropna()之后所有的行都没有了,查了Pandas手册,原来不加参数的情况下,dropna()会移除所有包含空值的行。如果只想移除全部为空值的列,需要加上轴和如何两个参数:

df.dropna(axis=1, how='all')

共移除了14列中的6列,时间也只消耗了85.9秒。

接下来是处理剩余行中的空值,经过测试,在  DataFrame.replace()  中使用空字符串,要比默认的空值的NaN节省一些空间;但对整个CSV文件来说,空列只是多存了一个“,”,所以移除的9800万x 6列也只省了了200M的空间。进一步的数据清洗还是在移除无用数据和合并上。

对数据列的丢弃,除无效值和需求规定之外,一些表自身的冗余列也需要在这个环节清理,比如说表中的流水号是某两个字段拼接,类型描述等,通过对这些数据的丢弃,新的数据文件大小为4.73GB,足足减少了4.04克!

数据处理

使用  DataFrame.dtypes  可以查看每列的数据类型,Pandas默认可以读出int和float64,其它的都处理为object,需要转换格式的一般为日期时间.DataFrame.astype()  方法可对整个DataFrame或某一列进行数据格式转换,支持的Python和NumPy的的数据类型。

df['Name'] = df['Name'].astype(np.datetime64)

对数据聚合,我测试了DataFrame.groupby和DataFrame.pivot_table以及pandas.merge,groupby 9800万行x 3列的时间为99秒,连接表为26秒,生成透视表的速度更快,仅需5秒。

 
  1. df.groupby(['NO','TIME','SVID']).count() # 分组

  2. fullData = pd.merge(df, trancodeData)[['NO','SVID','TIME','CLASS','TYPE']] # 连接

  3. actions = fullData.pivot_table('SVID', columns='TYPE', aggfunc='count') # 透视表

根据透视表生成的交易/查询比例饼图:

将日志时间加入透视表并输出每天的交易/查询比例图:

 
  1. total_actions = fullData.pivot_table('SVID', index='TIME', columns='TYPE', aggfunc='count')

  2. total_actions.plot(subplots=False, figsize=(18,6), kind='area')

 

除此之外,熊猫提供的数据帧查询统计功能速度表现也非常优秀,7秒以内就可以查询生成所有类型为交易的数据子表:

tranData = fullData[fullData['Type'] == 'Transaction']

该子表的大小为[10250666 rows x 5 columns]。在此已经完成了数据处理的一些基本场景。实验结果足以说明,在非“> 5TB”数据的情况下,Python的表现已经能让擅长使用统计分析语言的数据分析师游刃有余。

http://www.justinablog.com/archives/1357

你可能感兴趣的:(算法,python)