【pandas小记】pandas中 map、apply、applymap和transform详解

(一)pandas.Series.map

Series.map(self, arg, na_action=None)
"""
根据输入对应关系映射序列值,用于用另一个值替换序列中的每个值。
map()是Series对象的一个函数,DataFrame中没有map(),map()的功能是将一个自定义函数作用于Series对象的每个元素

注意:Series对象、映射、替换、每个值
"""

#参数
"""
arg:映射对应关系,function, collections.abc.Mapping subclass or Series
na_action:是否忽略NAN?{None, ‘ignore’}, 默认None,若改为‘ignore’,则序列中的NAN不进行映射。
"""

# demo
data = {'ani“”mal': ['cat', 'cat', 'snake', 'dog', 'dog', 'cat', 'snake', 'cat', 'dog', 'dog'],
        'age': [2.5, 3, 0.5, np.nan, 5, 2, 4.5, np.nan, 7, 3],
        'visits': [1, 3, 2, 3, 2, 3, 1, 1, 2, 1],
        'priority': ['yes', np.nan, 'no', 'yes', np.nan, 'no', 'no', 'yes', 'no', 'no']}

labels = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']

df = pd.DataFrame(data=data, index=labels)
df['priority'] = df['priority'].map({'no':False,'yes':True})   # 通过字典映射
df['age'] = df['age'].map(lambda x : "%.3f"%x)  # 通过函数进行映射
"""
  animal    age  visits priority
a    cat  2.500       1     True
b    cat  3.000       3      NaN
c  snake  0.500       2    False
"""

df['animal'] = df['animal'].replace('cat','dog')  # 不对所有值进行替换,替换特定值,与map不同!!!
"""
  animal    age  visits priority
a    dog  2.500       1     True
b    dog  3.000       3      NaN
c  snake  0.500       2    False
"""

(二)pandas.DataFrame.apply

DataFrame.apply(self, func, axis=0, raw=False, result_type=None, args=(), **kwds)
"""
将一个自定义函数作用于DataFrame的行或者列,也可以作用于Series。

注意:自定义函数、DataFrame行或列、Series
"""

# 参数
"""
func:自定义函数
axis:函数应用的轴向,默认axis=0
raw:确定行或列作为Series,还是ndarray对象传递?默认为False,作为Series对象传递给函数,如果自定义函数是numpy相关,raw=True,将作为ndarray对象
result_type:默认为None,只有针对于axis=1的情况,如果函数返回一个列表,则结果为列表,如果返回一个Series,则结果为Series
args:tuple,参数元组传递给函数
**kwds:关键字参数传递给函数
"""

# demo
# 计算两个日期之间的天数
def get_Interval(row):
    return row['ReceivedDate'] - row['PublishedDate']


def DateInterval(row, before, after):
    return row[before] - row[after]

def get_yearmonth(data):
    return data.strftime('%Y-%m')


published_date = pd.date_range(start='2020-03-01', end='2020-03-31', freq='B')
received_date = pd.date_range(start='2020-04-01', end='2020-04-30', freq='B')
df = pd.DataFrame({'PublishedDate': published_date, 'ReceivedDate': received_date})
# 使用lambda  
df['DateInterval'] = df.apply(lambda x : x['ReceivedDate'] - x['PublishedDate'],axis=1)
# 调用函数
# df['DateInterval'] = df.apply(get_Interval,axis=1)

# args传入参数 apply会往DateInterval中传入一个参数,所以DateInterval接收三个参数
# df['DateInterval'] = df.apply(DateInterval, axis=1, args=('ReceivedDate', 'PublishedDate'))

# **kwds传入参数
# df['DateInterval'] = df.apply(DateInterval, axis=1, before = 'ReceivedDate', after='PublishedDate')

# Series也可以调用,但是没法使用参数axis
# df['ReceivedDate_ym'] = df['ReceivedDate'].apply(lambda x : x.strftime('%Y-%m'))
# df['ReceivedDate_ym'] = df['ReceivedDate'].apply(lambda x : x.strftime('%Y-%m'),axis=1)  报错
# df['ReceivedDate_ym'] = df['ReceivedDate'].apply(get_yearmonth)
# df['ReceivedDate_ym'] = df['ReceivedDate'].apply(get_yearmonth,axis=1) 报错
print(df)

(三)pandas.DataFrame.applymap

DataFrame.applymap(self, func)
"""
函数可以对DataFrame里的每个值进行处理,然后返回一个新的DataFrame
注意:作用于每个元素,并返回对应的结果
"""

# 参数
"""
func:函数
"""

#demo
def add_one(x):
    return x + 1

df = pd.DataFrame({
    'a': [1, 2, 3],
    'b': [10, 20, 30],
    'c': [5, 10, 15]
})
# 调用函数
print(df.applymap(add_one))
print(df+1)

# lambda
print(df.applymap(lambda x :x**2))
print(df**2)

(四)pandas.DataFrame.transform

DataFrame.transform(self, func, axis=0, *args, **kwargs)
"""
在dataframe上调用函数,生成的dataframe与原dataframe有相同的轴长度
key:沿轴长度相同
"""

# 参数
"""
func:用于转换的函数,可以接受以下的情况:
1,自定义函数
2,函数名
3,函数名列表
4,轴标签与函数名的字典
axis:函数应用的轴向,默认axis=0
"""

# demo
data = {'animal': ['cat', 'cat', 'snake', 'dog', 'dog', 'cat', 'snake', 'cat', 'dog', 'dog'],
        'age': [2.5, 3, 0.5, np.nan, 5, 2, 4.5, np.nan, 7, 3],
        'visits': [1, 3, 2, 3, 2, 3, 1, 1, 2, 1]}

labels = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']
df = pd.DataFrame(data=data, index=labels)


print(df.groupby(['animal']).apply(lambda x:x.mean()))
"""
apply返回聚合后的结果
        age  visits
animal             
cat     2.5     2.0
dog     5.0     2.0
snake   2.5     1.5
"""
print(df.groupby(['animal']).transform(lambda x:x.mean()))
"""
transform 返回的shape是(len(df),1)。注:如果与groupby()方法联合使用,需要对值进行去重
   age  visits
a  2.5     2.0
b  2.5     2.0
c  2.5     1.5
d  5.0     2.0
e  5.0     2.0
f  2.5     2.0
g  2.5     1.5
h  2.5     2.0
i  5.0     2.0
j  5.0     2.0
"""
print(df.groupby(['animal']).apply(lambda x:x['age'] - x['visits']))
# transform 只允许在同一时间在一个Series上进行一次转换,如果定义列‘a’ 减去列‘b’,  则会出现异常;
print(df.groupby(['animal']).transform(lambda x:x['age'] - x['visits']))

# 函数名列表
print(df['visits'].transform([np.sqrt,np.exp]))

# 轴标签:函数名字典
print(df[['age','visits']].transform({'age':np.sqrt,'visits':np.exp}))

(五)总结

1,map,apply,applymap

  1. map()是pandas.series.map()方法,对每个值进行映射操作。
  2. apply()是DF的方法, 对DF中的数据按行/列应用func操作,也可以单独对Series应用func操作。
  3. applymap()也是DF的方法, 对整个DF所有元素应用func操作。

2,apply()与 transform()

  1. transform只允许在同一时间在一个Series上进行一次转换,如果定义列‘a’ 减去列‘b’,则会出现异常;
    transform返回的shape是(len(df),1)。注:如果与groupby()方法联合使用,需要对值进行去重;

  2. 不同于transform只允许在Series上进行一次转换,apply对整个DataFrame 作用;
    apply不能直接通过函数名直接调用,而transform可以用函数名调用,也可以对不同标签进行不同计算;

你可能感兴趣的:(pandas)