Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀

今天为大家分享一个关于数据处理性能的对比,从原生,Pandas ,Numpy这三个方面对比?你觉得哪个更优秀呢?对于一个数据科学家来说,速度和时间是一个很至关重要的的因素

下图显示了我的实验结果(详情如下),与纯Python的处理速度做出对比。

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第1张图片

 

如你所见,Numpy的表现比Pandas的表现要好几倍。我个人喜欢用Pandas来简化许多繁琐的数据科学任务,它是我的首选工具。但是如果预计的处理时间超过多个小时,那么很遗憾,我只能使用Numpy来替代Pandas。

我非常清楚实际的性能可能会有很大的不同,这取决于任务和处理类型。所以请把这些结果仅仅作为参考。没有任何一个单独的测试可以全面对比所有软件工具的性能。

简介

在下面的 Notebook 中你将会比较 Python 原生方法, Pandas 和 Numpy 处理数据的速度。

 

更多Python视频、源码、资料加群683380553免费获取

导入模块

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第2张图片

 

制作模拟随机数据集

 

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第3张图片

 

 

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第4张图片

 

 

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀

 

 

Dataset size 54818 records

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第5张图片

 

 

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第6张图片

 

Python 原生方法

 

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第7张图片

 

 

Pandas 方法

 

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第8张图片

 

Numpy 方法

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第9张图片

 

 

检查是否所有的方法生成同样的结果

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第10张图片

 

 

比较运行时间

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第11张图片

 

Python average time: 38.77917420864105 seconds

Pandas average time: 10.483694124221802 seconds

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第12张图片

 

Numpy average time: 2.914765810966492 seconds

展示结果

 

Python数据处理性能对比,原生,Pandas,Numpy哪个更优秀_第13张图片

你可能感兴趣的:(python)