python读取excel丨换一种存储格式, 读取速度提升几倍

您好, 本博客将持续更新python数据分析技巧, 一次解决一个问题,欢迎关注订阅!

本次介绍提升excel文件读取速度问题
工作中我们会有一些大文件(excel, csv等), 作为基础数据经常会读取, 如何减少读取时间, 提升效率呢?

今天用了一个88万行13列的表格, 按不同的方式读取比较读取用时如下:
python读取excel丨换一种存储格式, 读取速度提升几倍_第1张图片

  1. excel文件: 文大小 61.9M, 读取用时 200秒
  2. csv文件: 文件大小 194M, 读取用时 5秒
  3. hdf文件: 文件大小 80M, 读取用时 2

相同的数据, 用hdf方式读取速度比其他两种快很多, 大文件建议不要存储为excel格式

代码

import pandas as pd
import time
t1 = time.time()

d

你可能感兴趣的:(python数据分析技巧,python,数据分析,数据挖掘,文件读取,excel)