筛选数据
转置
df.T
遍历
traj_plot.py
df = df.set_index('gpstime')
for index, row in df.iterrows():
locationF.write("p%s | %s | %s | %s | %s " % (str(cnt), index, str(row[0]), str(row[1]), str(row[2])) + '\n' )
import numpy as np
import pandas as pd
def _map(data, exp):
for index, row in data.iterrows(): # 获取每行的index、row
for col_name in data.columns:
row[col_name] = exp(row[col_name]) # 把结果返回给data
return data
def _1map(data, exp):
_data = [[exp(row[col_name]) # 把结果转换成2级list
for col_name in data.columns]
for index, row in data.iterrows()
]
return _data
if __name__ == "__main__":
inp = [{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}]
df = pd.DataFrame(inp)
temp = _map(df, lambda ele: ele+1 )
print temp
_temp = _1map(df, lambda ele: ele+1)
res_data = pd.DataFrame(_temp) # 对2级list转换成DataFrame
print res_data
排序
通过列名来排序
#对于矩阵，axis=0表示行，1表示列
df.sort_index(axis=1, ascending=False)
通过某一列的数值排序
df.sort_values(by='B')
import pandas as pd
df = pd.read_csv('./query_result.csv', sep=',')
# 转为日期型
df['gpstime'] = pd.to_datetime(df['gpstime'])
# 按某一列排序
df.sort_values(['gpstime'])
选择
series选择某行
df_app_no[0] #不需要跟列名，因为只有一列
选择某个行列的值
bad_predict_label.iloc[i, 0]
表示选择第i行，第0列的值
选择某一列
df['A']
某几列
col_n = ['名称','收盘价','日期']
a = pd.DataFrame(df,columns = col_n)
选择某几行
df[0:3]
#也可以通过行的索引来选择，但是不能单独写某一行
df['20130102':'20130104']
通过条件过滤行
df_pred.label[df_pred['label']<1]
选择几列转为矩阵
coords=dftest.as_matrix(columns=['longitude','latitude'])
抽样
df_train_p = df_train_p.sample(frac=0.7)
过滤
找到为null的
print(dfall[dfall.isnull().values == True])
pandas如何去掉、过滤数据集中的某些值或者某些行？
删除某列
方法一：直接del DF['column-name']
方法二：采用drop方法，有下面三种等价的表达式：
1. DF= DF.drop('column_name', 1)；
2. DF.drop('column_name',axis=1, inplace=True)
# inplace=true表示对原DF操作，否则将结果生成在一个新的DF中
3. DF.drop(DF.columns[ : ], axis=1,inplace=True) # Note: zero indexed
x = [1,2] #删除多列需给定列表，否则参数过多
df.drop(df.columns[x],axis=1,inplace=True)
pandas删除列
根据时间范围过滤
df = df.set_index('gpstime')
df['2018-04-22 01:00:00': '2018-04-22 05:00:00']
某一列按条件过滤
nightdf = nightdf[nightdf['speed']<1]
df06 = df04.loc[True - (float(df04.columns[-6]) > 0.0)]
# 验证有效的方法
df_pred_raw.due_type3[(df_pred_raw['due_type3']<12) & (df_pred_raw['due_type3']>5)]
行列同时过滤
wrong_idx = result[(result['pred']<0.95) & (result['label']>0.05)].index
df_pred_wrong = df_pred_raw.loc[wrong_idx, ['yq30_term_rate_3','due_type3','zd_term_rate']]
用正则过滤
df.filter(regex=("d.*"))
>>
d1 d2
0 2 3
1 3 4
2 4 5
df.select(lambda col: col.startswith('d'), axis=1)
>>
d1 d2
0 2 3
1 3 4
2 4 5
df_trains = df_trains.filter(regex=(".*3days|label|.*7days"))
groupby
利用pandas进行数据分组及可视化
pandas聚合和分组运算——GroupBy技术(1)
例1
from sklearn.datasets.samples_generator import make_blobs
from matplotlib import pyplot
from pandas import DataFrame
# generate 2d classification dataset
X, y = make_blobs(n_samples=100, centers=3, n_features=2)
# dict中定义三个key，分别是坐标和label，再通过dict创建DataFrame
df = DataFrame(dict(x=X[:,0], y=X[:,1], label=y))
colors = {0:'red', 1:'blue', 2:'green'}
fig, ax = pyplot.subplots()
#groupby可以通过传入需要分组的参数实现对数据的分组
grouped = df.groupby('label')
for key, group in grouped:
group.plot(ax=ax, kind='scatter', x='x', y='y', label=key, color=colors[key])
pyplot.show()
例2
import pandas as pd
import matplotlib.pyplot as plt
# 把数据划分到自定义的区间中
def cla(n,lim):
return'[%.f,%.f)'%(lim*(n//lim),lim*(n//lim)+lim) # map function
# 默认第一行是标题，从第二行开始是数据。sep是分隔符
df = pd.read_csv('/home/david/iaudience-plan-statistics.csv', sep=',')
# 设置某列的数据类型
df['precent'] = df['precent'].astype('float64')
# 对planid做group，group后对precent做sum
grouped = df['precent'].groupby(df['planid']).sum()
c = pd.DataFrame(grouped)
# 用c.precent或c['precent']都可以
addone = pd.Series([cla(s,1) for s in c.precent])
c['addone'] = addone
groups3 = c.groupby(['addone']).count()
groups3['precent'].plot('bar')
plt.show()
去重
https://blog.csdn.net/xinxing__8185/article/details/48022401
from pandas import Series, DataFrame
data = DataFrame({'k': [1, 1, 2, 2]})
print data
IsDuplicated = data.duplicated()
print IsDuplicated
print type(IsDuplicated)
data = data.drop_duplicates()
print data
DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。
而 drop_duplicates方法，它用于返回一个移除了重复行的DataFrame
这两个方法会判断全部列，你也可以指定部分列进行重复项判段。
例如，希望对名字为k2的列进行去重，
data.drop_duplicates(['k2'])