import pandas as pd
import numpy as np
df = pd.DataFrame({'uid': [111,111,222,222,333,333],
'amount': [4.99,9.99,14.99,29.99,14.99,99.99],
'days':['1','2','1','2','1','2']})
df
uid amount days
0 111 4.99 1
1 111 9.99 2
2 222 14.99 1
3 222 29.99 2
4 333 14.99 1
5 333 99.99 2
1.分组后找出某列的最大行并保留其他列
比如在df中，找出每个uid的最大amount，并保留其他列
# 如果只需要找出最大值，直接分组取max就可以了
df.groupby('uid')['amount'].max()
uid
111 9.99
222 29.99
333 99.99
# 但是这样days列就没有了，所有需要使用idxmax取出最大行的索引值，然后在df中提取这些索引
df.loc[df.groupby('uid')['amount'].idxmax()]
uid amount days
1 111 9.99 2
3 222 29.99 2
5 333 99.99 2
2.按照某个值的差值进行排序
在df中，按照金额和10的差值进行排序，
9.99和10差值最小，排在第一，
99.99和10差值最大，排在最后
# argsort是返回排序后的索引。
(df.amount - 9.99).abs().argsort()
0 1
1 0
2 2
3 4
4 3
5 5
df.loc[(df.amount - 9.99).abs().argsort()]
uid amount days
1 111 9.99 2
0 111 4.99 1
2 222 14.99 1
4 333 14.99 1
3 222 29.99 2
5 333 99.99 2
3.数据透视表
查看每个用户每天的总充值金额
df.pivot_table(index='uid', columns='days', values='amount',aggfunc='sum',margins=True)
days 1 2 All
uid
111 4.99 9.99 14.98
222 14.99 29.99 44.98
333 14.99 99.99 114.98
All 34.97 139.97 174.94
4.求没有外键的两个表的笛卡尔积
求上面两个表的笛卡尔积，即合并上面两张表为一个四行四列的表
df1 = pd.DataFrame([[11,22],[22,33]], columns=['c1', 'c2'])
df2 = pd.DataFrame([['aa','bb'],['cc','dd']], columns=['c3', 'c4'])
df1
c1 c2
0 11 22
1 22 33
df2
c3 c4
0 aa bb
1 cc dd
# pd.merge可以连接两个表，如果how='outer'的话就是求的笛卡尔积，但是前提是两张表有相同的一个列名
# 如果两张表没有的话，可以自己构造一个，合并完后再删掉即可
df1['t'] = df2['t'] = 1
pd.merge(df1,df2,on='t', how='outer').drop('t', axis=1)
c1 c2 c3 c4
0 11 22 aa bb
1 11 22 cc dd
2 22 33 aa bb
3 22 33 cc dd
5.解决narray的嵌套
用dataframe或series转narray有时会遇到array里套array的情况，如下所示：
df = pd.DataFrame({'a':[1,3,2], 'b':[2,3,4], 'c':[4,5,6]})
df = df.groupby('a').apply(lambda x:x.iloc[0].to_numpy()).to_numpy()
df
array([array([1, 2, 4], dtype=int64), array([2, 4, 6], dtype=int64),
array([3, 3, 5], dtype=int64)], dtype=object)
这个df就是array里还有array，但我们想要的一个二维的array，即array[[]]这样的结构，
这里可以用vstack解决
np.vstack(df)
array([[1, 2, 4],
[2, 4, 6],
[3, 3, 5]], dtype=int64)
6.二重索引Series转为dateframe
下面是一个二重索引的series， 现在想要把它转为一个dateframe，
uid作为行索引，而amount作为列索引。
t1 = df.groupby(by=['uid'])['amount'].value_counts()
t1
uid amount
111 4.99 1
9.99 1
222 14.99 1
29.99 1
333 14.99 1
99.99 1
Name: amount, dtype: int64
使用unstack函数可以实现这个需求。
现在我uid和amount都作为列，整个Series转为3列的dataframe，可以使用reset_index实现。
t1.name = 'count'
t1.reset_index()
uid amount count
0 111 4.99 1
1 111 9.99 1
2 222 14.99 1
3 222 29.99 1
4 333 14.99 1
5 333 99.99 1
这里需要注意的是要先重命名t1.name属性，因为原来的name是amount，会和二重索引里的amount冲突。
7. read_csv函数int和空值
遇到一个神奇的问题，使用read_csv读取文件的时候，pands会自动推断某列的类型，如果某列本身是int,但是还有空值的话，会被推断为float。
可以看到b列的类型是float64，如果强行指定为int
image.png
它也不是int，而是object，
这样有个问题是使用to_csv写回csv文件的时候，原来的1会变成1.0，
也就是从int变为了float。
我现在不希望多个.0怎么办呢，直接用astype转为int也是会出错的，因为有None值。
方法是在最后写到csv前转为str类型，csv本身就是个文本，直接写str就好了。
df.b.apply(lambda x: str(int(x)) if not pd.isna(x) else '')