Python数据分析 | 数据处理的一些方法和技巧

1.用pandas的to_csv()写csv文件

import os
import pandas as pd

dataframe = pd.DataFrame({'name_1':list_1,'name_2':list_2})
if os.path.exists(filepath):
    dataframe.to_csv(filepath, header=0, mode='a', index=False, sep=',')
else:
    dataframe.to_csv(filepath, mode='a', index=False, sep=',')


@ sep=',' 分隔符,如果不写,默认是‘,’
@ na_rep='NA' 缺失值保存为NA,如果不写,默认是空
@ float_format='%.2f'
@ columns=['name'] 保存索引列和name列
@ header=0 不保留列名
@ index=0 不保存行索引

参考:pandas系列 read_csv 与 to_csv 方法各参数详解

2.将pandas Series或index转换为Numpy数组

to_numpy()
Series.values
.array

3.字典(dict)按键(key)和值(value)排序

  • 字典按键排序:
>>> dic = {'a':2, 'b':1}
>>> d = sorted(dic.items(), key = lambda k: k[0])
>>> print(d)
[('a', 2), ('b', 1)]
  • 字典按值排序:
>>> dic = {'a':2, 'b':1}
>>> d = sorted(dic.items(), key = lambda k: k[1])
>>> print(d)
[('b', 1), ('a', 2)]

4.将列表中的字符串转为数字

numbers = [ int(x) for x in numbers ]

5.将列表中的日期转为字符串

#  输出时间戳对应的年月日信息
test['日期'].apply(lambda x: print(x.year, x.month, x.day))
# 将时间戳转换为字符串
myString = test['日期'].apply(lambda x: x.strftime('%Y-%m-%d'))

6.python list 和dict的查找效率比较

import time

query_lst = [-60000,-6000,-600,-60,-6,0,6,60,600,6000,60000]

lst = []
dic = {}

for i in range(100000000):
    lst.append(i)
    dic[i] = 1 

start = time.time()
for v in query_lst:
    if v in lst:
        continue
end1 = time.time()

for v in query_lst:
    if v in dic:
        continue

end2 = time.time()

print "list search time : %f"%(end1-start)
print "dict search time : %f"%(end2-end1)

运行结果:
list search time : 11.836798
dict search time : 0.000007

list的查找效率远远低于dict的效率,原因在于:python中list对象的存储结构采用的是线性表,因此其查询复杂度为O(n),而dict对象的存储结构采用的是散列表(hash表),其在最优情况下查询复杂度为O(1)。

你可能感兴趣的:(Python数据分析 | 数据处理的一些方法和技巧)