pandas 读取 csv 文件
import pandas as pd
test_df = pd.read_csv("./test.csv") # 将文件csv文件全部读取
test_df = pd.read_csv(names=['a_from_lng','a_from_lat','b_from_lng','b_from_lat',],skiprows=10) # 读取这四列数据，并跳过前面10行
查看pandas的列名以及列数
test_df.columns # 列名
test_df.columns.size # 列数
test_df.shape[1] # 列数
pandas 查看某一列的全部数据或部分数据
test_df['a_from_lng'] # 查看该列全部数据
test_df['a_from_lng'].head() # 查看该列前面10条数据
test_df['a_from_lng'].head(100) # 查看该列前面100条数据
test_df['a_from_lng'].tail() # 查看该列最后10条数据
test_df['a_from_lng'].tail(100) # 该看该列最后100条数据
查看所有列或者制定列的统计信息
test_df.describe() # 所有列
test_df['a_from_lng'].describe() # 指定列
利用前面几列的信息生成新的列
def distance(x1, y1, x2, y2):
return np.sqrt((x1-x2)**2+(y1-y2)**2)
test_df['start_distance_gap'] = map(lambda x1, y1, x2, y2: distance(x1, y1, x2, y2), \
test_df['a_from_lng'], test_df['a_from_lat'], test_df['b_from_lng'], test_df['b_from_lat'])
pandas 处理时间特征
# 增加小时和分钟特征
a_setup_time = pd.DatetimeIndex(test_df['a_setup_time'])
test_df["a_setup_hour"] = pd.Index(a_setup_time).hour
test_df["a_setup_minute"] = pd.Index(a_setup_time).minute
pandas 删除无用特征，删除列
test_df.drop('b_time', axis=1, inplace=True)
pandas 将csv文件保存到本地
test_df.to_csv('./feature.csv')
# 将特征文件保存，只保存第0，1，2，3列，并且不保存header（列名）
test_df.to_csv('./feature.csv', columns=[0, 1, 2, 3], header=False)
pandas将一个list加入到df中
useful_order_count = [balabala...]
test_df["useful"] = pd.Series(useful_order_count) # 在dataframe中增加新列useful，这个数据之前是一个list
DataFrame 转换成 array 或 list
test_np = np.array(test_df) # np.ndarray()
test_list = test_np.tolist() # list
Series有多少不重复数据，重复数据有多少
test_df['id'].value_counts()
输出结果是每个值都对应了多少数量
查看某一列有多少不重复的数据
tmp = test_df.drop_duplicates(subset=['poi'])
print len(tmp)
查看DataFrame中有缺失值的列
na_count = test_df.isnull().sum().sort_values(ascending=False) # 找出test_df中有缺失值的列，并按照缺失的数量按照降序打印出来
na_count = na_count[na_count>0] # 只查看缺失的
na_rate = na_count / len(test_df)
na_data = pd.concat([na_count,na_rate],axis=1,keys=['count','ratio'])
pandas 获得行名
test_df.index
pandas 显示所有列的信息
pd.options.display.max_columns = None
将str转换成时间
total_data_useful['Timestamp'] = pd.to_datetime(total_data_useful['Timestamp'])
dataframe 拼接
total_data = pd.concat([data1, data2, data3, data4, data5, data6]) # 按列拼接
total_data = pd.concat([data1, data2, data3, data4, data5, data6], axis=1) # 按行拼接
查看缺失数据
total= data_df.isnull().sum().sort_values(ascending=False)
percent = (data_df.isnull().sum()/data_df.isnull().count()).sort_values(ascending=False)
missing_data = pd.concat([total, percent], axis=1, keys=['Total','Percent'])
missing_data
对某一列进行归一化
col_name = 'Total_Flow'
tmp = (data_df[col_name] - data_df[col_name].mean()) / data_df[col_name].std()
data_df = data_df.drop([col_name], axis=1)
data_df[col_name] = tmp
设置精度
data.to_csv('out.csv',index = False, float_format = '%.4f')