对数据集进行排序和排名的是常用最基础的数据分析手段,pandas提供了方便的排序和排名的方法,通过简单的语句和参数就可以实现常用的排序和排名
sort_index() 是 pandas 中按索引排序的函数,默认情况下, sort_index 是按行索引来排序。
语法格式:
sort_index(
self,
axis=0,
level=None,
ascending: bool | int | Sequence[bool | int] = True,
inplace: bool = False,
kind: str = "quicksort",
na_position: str = "last",
sort_remaining: bool = True,
ignore_index: bool = False,
key: IndexKeyFunc = None,
)
常用参数说明:
Series对象排序中,axis参数只能为0
默认 ascending=True 升序
import pandas as pd
import numpy as np
df = pd.Series([1, 2, 3, 4], index=["A", "B", "C", "D"])
print(df.sort_index())
设置 ascending=False 倒序
import pandas as pd
import numpy as np
df = pd.Series([1, 2, 3, 4], index=["A", "B", "C", "D"],)
print(df.sort_index(ascending=False))
默认 axis=0 按行标签索引排序
import pandas as pd
import numpy as np
data = np.arange(16).reshape((4, 4))
df = pd.DataFrame(data, columns=['c', 'a', 'b', 'd'], index=['D', 'B', 'C', 'A'])
print(df)
print(df.sort_index(axis=0))
import pandas as pd
import numpy as np
data = np.arange(16).reshape((4, 4))
df = pd.DataFrame(data, columns=['c', 'a', 'b', 'd'], index=['D', 'B', 'C', 'A'])
print(df)
print(df.sort_index(axis=0, ascending=False))
设置 axis=1 按列标签索引排序
import pandas as pd
import numpy as np
data = np.arange(16).reshape((4, 4))
df = pd.DataFrame(data, columns=['c', 'a', 'b', 'd'], index=['D', 'B', 'C', 'A'])
print(df)
print(df.sort_index(axis=1, ascending=True))
import pandas as pd
import numpy as np
data = np.arange(16).reshape((4, 4))
df = pd.DataFrame(data, columns=['c', 'a', 'b', 'd'], index=['D', 'B', 'C', 'A'])
print(df)
print(df.sort_index(axis=1, ascending=False))
在实际数据分析过程中用得最多是按某一列的值进行排序,在pandas中sort_values() 是按数值排序的方法
语法格式:
sort_values(
self,
axis=0,
ascending: bool | int | Sequence[bool | int] = True,
inplace: bool = False,
kind: str = "quicksort",
na_position: str = "last",
ignore_index: bool = False,
key: ValueKeyFunc = None,
)
常用参数说明:
默认 ascending=True 升序
import pandas as pd
import numpy as np
df = pd.Series([5, 3, 2, 4, 1], index=["A", "B", "C", "D", "E"])
print(df)
print(df.sort_values())
设置 ascending=False 倒序
import pandas as pd
import numpy as np
df = pd.Series([5, 3, 2, 4, 1], index=["A", "B", "C", "D", "E"])
print(df)
print(df.sort_values(ascending=False))
语法格式:
sort_values( # type: ignore[override]
self,
by,
axis: Axis = 0,
ascending=True,
inplace: bool = False,
kind: str = "quicksort",
na_position: str = "last",
ignore_index: bool = False,
key: ValueKeyFunc = None,
)
常用参数说明:
import pandas as pd
import numpy as np
data = values = [[4, 7, 3, 1], [5, 3, 9, 8], [4, 1, 8, 5], [6, 2, 3, 5]]
df = pd.DataFrame(data, columns=['c', 'a', 'b', 'd'], index=['D', 'B', 'C', 'A'])
print(df)
print(df.sort_values(by='a'))
import pandas as pd
import numpy as np
data = values = [[4, 7, 3, 1], [5, 3, 9, 8], [4, 1, 8, 5], [6, 2, 3, 5]]
df = pd.DataFrame(data, columns=['c', 'a', 'b', 'd'], index=['D', 'B', 'C', 'A'])
print(df)
print(df.sort_values(by='a',ascending=False))
import pandas as pd
import numpy as np
data = values = [[4, 7, 3, 1], [5, 3, 9, 8], [4, 1, 8, 5], [6, 2, 3, 5]]
df = pd.DataFrame(data, columns=['c', 'a', 'b', 'd'], index=['D', 'B', 'C', 'A'])
print(df)
print(df.sort_values(by=['a','b']))
import pandas as pd
import numpy as np
data = values = [[4, 7, 3, 1], [5, 3, 9, 8], [4, 1, 8, 5], [6, 2, 3, 5]]
df = pd.DataFrame(data, columns=['c', 'a', 'b', 'd'], index=['D', 'B', 'C', 'A'])
print(df)
print(df.sort_values(by=['a','b'],ascending=False))
import pandas as pd
import numpy as np
data = values = [[4, 7, 3, 1], [5, 3, 9, 8], [4, 1, 8, 5], [6, 2, 3, 5]]
df = pd.DataFrame(data, columns=['c', 'a', 'b', 'd'], index=['D', 'B', 'C', 'A'])
print(df)
# 分别指定升序和降序
print(df.sort_values(by=['a','b'], ascending=[True, False]))
几种排序主要是程序运行时占用的资源和运行速度有差异
kind:选择排序算法,默认是 ‘quicksort’,该参数只针对单个列时才有效
na_position:缺失值处理
1、默认 na_position = last 缺失值排最后:
import pandas as pd
import numpy as np
data = {'A': [1, 5, 9, 6, 3],
'B': [5, 9, 2, np.nan, 3],
'C': [0, 8, 4, 3, 2],
}
df = pd.DataFrame(data)
print(df)
print(df.sort_values(by='B'))
运行结果:
2、设置 na_position = first 缺失值排开头:
import pandas as pd
import numpy as np
data = {'A': [1, 5, 9, 6, 3],
'B': [5, 9, 2, np.nan, 3],
'C': [0, 8, 4, 3, 2],
}
df = pd.DataFrame(data)
print(df)
print(df.sort_values(by='B',na_position = 'first'))
通过设置 key 参数,可以将列按照特定条件进行排序,对比下下面的排序
import pandas as pd
import numpy as np
data = {'A': ['BB', 'AA', 'DD', 'EE','CC'],
'B': [5, 9, 2, np.nan, 3],
'C': [0, 8, 4, 3, 2],
}
df = pd.DataFrame(data)
print(df.sort_values(by='B'))
# key参数:字符串所有大写字符转化为小写
print(df.sort_values(by='B', key=lambda col: col.str.lower()))
沿轴计算数值数据等级(1到n)。默认情况下,相等的值被分配一个等级,该等级是这些值的等级的平均值。
语法格式:
rank(
self: FrameOrSeries,
axis=0,
method: str = "average",
numeric_only: bool_t | None = None,
na_option: str = "keep",
ascending: bool_t = True,
pct: bool_t = False,
) -> FrameOrSeries
最重要的参数就是method,指定排名时用于破坏平级关系的method选项(注:值相同的位同一个分组):
通过“为各组分配一个平均排名”的方式破坏平级关系的为各组分配一个平均排名
import pandas as pd
import numpy as np
df = pd.Series([3, 4, -2, 1, 4, 5])
print(df)
print(df.rank())
[3, 4, -2, 1, 4, 5]
,我们手动排一下,-2是第1名,1是第2名,3是第3,4是第4,4是第5,5是第6。其中两个4的排名分别是4和5,在默认的排法,他们平均数4.5,所以两个排名都是4.5。
为各组分配一个最小排名
import pandas as pd
import numpy as np
df = pd.Series([3, 4, -2, 1, 4, 5])
print(df)
print(df.rank(method='min'))
[3, 4, -2, 1, 4, 5]
,我们手动排一下,-2是第1名,1是第2名,3是第3,4是第4,4是第5,5是第6。其中两个4的排名分别是4和5,在min排法,他们最小值是4,所以两个排名都是4。
为各组分配一个最大排名,与’min’相反
import pandas as pd
import numpy as np
df = pd.Series([3, 4, -2, 1, 4, 5])
print(df)
print(df.rank(method='max'))
[3, 4, -2, 1, 4, 5]
,我们手动排一下,-2是第1名,1是第2名,3是第3,4是第4,4是第5,5是第6。其中两个4的排名分别是4和5,在max排法,他们最大值是5,所以两个排名都是5。
不为各组分配任何排名,不改变原有排名,这种情况下没有小数点,相同的数谁先出现谁就排前面
import pandas as pd
import numpy as np
df = pd.Series([3, 4, -2, 1, 4, 5])
print(df)
print(df.rank(method='first'))
[3, 4, -2, 1, 4, 5]
,我们手动排一下,-2是第1名,1是第2名,3是第3,4是第4,4是第5,5是第6。其中两个4的排名分别是4和5,在first排法中,相同的数谁先出现谁就排前面。
为各组分配一个稠密度计算后的排名,它与min唯一的区别就是,重复的不会占坑位,比较常用的排名,比如班级名次,有几个人并列第n名,不影响紧跟着的n+1名。所以dense总是连续的,即组间排名总是+1,不过只是会有重复的而已。
import pandas as pd
import numpy as np
df = pd.Series([3, 4, -2, 1, 4, 5])
print(df)
print(df.rank(method='dense'))
[3, 4, -2, 1, 4, 5]
,我们手动排一下,-2是第1名,1是第2名,3是第3,4是第4,4是第5,5是第6。其中两个4的排名分别是4和5,在dense排法中,相同的数不会站坑位,两个4排名都是4,5排名就是5。