python当中如何处理大规模csv文件

使用pandas包进行处理：

  1.读取限定列：file = pd.read_csv('demo.csv',usecols=['column1', 'column2', 'column3'])

  2.读取限定行:   file = pd.read_csv('demo.csv',nrows=1000,usecols=['column1', 'column2', 'column3'])                 #此时读取的是前1000行数据，可以作为测试

  3.分块读取：

reader = pd.read_csv('demo.csv',nrows=1000，usecols=['column1','column2','column3'],chunksize=1000,iterator=True)      #此时chunksize=1000指定了块的大小

4.使用head和tail函数读取小部分数据观察其特征

 

转载于:https://www.cnblogs.com/GY-Zhu/p/9625722.html