series合并成dataframe_第五章-合并

series合并成dataframe_第五章-合并_第1张图片

这一章内容不算多,主要就是append、assign、combine、update、concat、merge、join这几个方法,需要关注的是索引、列名有一样有不一样的时候,各个参数的选择会对合并结果带来什么样的变化。

一、append与assign

1. append方法

(a)利用series添加行(必须指定name)

df_append = df.loc[:3,['Gender','Height']].copy()
s = pd.Series({
      'Gender':'F','Height':188},name='new_row')
df_append.append(s)

(b)用DataFrame添加表

df_temp = pd.DataFrame({'Gender':['F','M'],'Height':[188,176]},index=['new_1','new_2'])
df_append.append(df_temp)

append比较简单,主要用于向下添加行,或者用dataframe添加好几行,和python语句里边的append感觉没多大区别。

2. assign方法

此方法主要用于添加列,列名直接由参数指定:

s = pd.Series(list('abcd'),index=range(4))
df_append.assign(Letter=s)

可以一次添加多个列:

df_append.assign(col1=lambda x:x['Gender']*2,
                 col2=s)

二、combine与update

1. comine方法

comine和update都是用于表的填充函数,可以根据某种规则填充

1)填充对象

关于combine很重要的一点是需要理解它是按照表的顺序轮流进行逐列循环的,而且自动索引对齐,缺失值为NaN:

df_combine_1 = df.loc[:1,['Gender','Height']].copy()
df_combine_2 = df.loc[10:11,['Gender','Height']].copy()
df_combine_1.combine(df_combine_2,lambda x,y:print(x,y))

2)一些例子

例①:根据列均值的大小填充

# example_1:看两个df中谁的均值大就用谁的来填充相应位置
df1 = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
df2 = pd.DataFrame({'A': [8, 7], 'B': [6, 5]})
df1.combine(df2,lambda x,y:x if x.mean()>y.mean() else y)

例②:索引对齐特性(默认状态下,后面的表没有的行列都会设置为NaN)

df2 = pd.DataFrame({'B': [8, 7], 'C': [6, 5]},index=[1,2])
df1.combine(df2,lambda x,y:x if x.mean()>y.mean() else y)

例③:使得df1原来符合条件的值不会被覆盖

df1.combine(df2,lambda x,y:x if x.mean()>y.mean() else y,overwrite=False)

例④:在新增匹配df2的元素位置填充-1

df1.combine(df2,lambda x,y:x if x.mean()>y.mean() else y,fill_value=-1)

3)combine_first方法

这个方法作用是用df2填补df1的缺失值,功能比较简单,但很多时候会比combine更常用,下面举两个例子:

df1 = pd.DataFrame({'A': [None, 0], 'B': [None, 4]})
df2 = pd.DataFrame({'A': [1, 1], 'B': [3, 3]})
df1.combine_first(df2)
df1 = pd.DataFrame({'A': [None, 0], 'B': [4, None]})
df2 = pd.DataFrame({'B': [3, 3], 'C': [1, 1]}, index=[1, 2])
df1.combine_first(df2)

这两个例子不太一样的地方在于,第二个例子中df2的索引及列名与df1是不一样的,因此只能用相应位置的元素进行填充,其他的地方还是nan

2. update方法

1)三个特点

①返回的框索引只会与被调用框的一致(默认使用左连接,下一节会介绍)

②第二个框中的nan元素不会起作用

③没有返回值,直接在df上操作

2)例子

例①:索引完全对齐情况下的操作,会把对应的列和索引中的元素填充,其余不变

df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': [400, 500, 600]})
df2 = pd.DataFrame({'B': [4, 5, 6],
                    'C': [7, 8, 9]})
df1.update(df2)

例②:部分填充:

df1 = pd.DataFrame({'A': ['a', 'b', 'c'],
                    'B': ['x', 'y', 'z']})
df2 = pd.DataFrame({'B': ['d', 'e']}, index=[1,2])
df1.update(df2)

这种情况下,会用df2中和df1中一样列名和索引的位置上的元素去替换df1

例③:缺失值不会填充

df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': [400, 500, 600]})
df2 = pd.DataFrame({'B': [4, np.nan, 6]})
df1.update(df2)

三、concat方法

concat方法可以在两个维度上拼接,默认为纵向拼接(axis=0),拼接方式默认外连接,也就是取拼接方向的并集,而'inner'时取拼接方向(若使用默认的纵向拼接,则为列的交集)的交集。

典型用法如下:

pd.concat([df3,df1],join='outer',sort=True) 

四、merge与join

1. merge函数

merge函数的作用是将两个pandas对象横向合并,遇到重复的索引项时会使用笛卡尔积,默认inner连接,可选left、outer、right连接。

所谓左连接,就是指以第一个表索引为基准,右边的表中如果不在左边的则不加入,如果在左边的就以笛卡尔积的方式加入。

merge/join与concat的不同之处在于on参数,可以指定某一个对象为key来进行连接,也可以用多组键进行连接。

关于笛卡尔积,简单点理解就是映射要全的意思,例子如下:

left = pd.DataFrame({'A': [1, 2], 'B': [2, 2]})
right = pd.DataFrame({'A': [4, 5, 6], 'B': [2, 2, 2]})
pd.merge(left, right, on='B', how='outer')

series合并成dataframe_第五章-合并_第2张图片
上述例子的最终结果

由于right中B这一列有3行,因此,left里边每一行中B列的2,都要与right中这3行分别做一遍映射,因此最终有6列。

2. join函数

join函数作用是将多个pandas对象横向拼接,遇到重复的索引项时会使用笛卡尔积,默认左连接,可选inner、outer、right连接,示例如下:

left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                     'B': ['B0', 'B1', 'B2', 'B3'],
                     'key1': ['K0', 'K0', 'K1', 'K2'],
                     'key2': ['K0', 'K1', 'K0', 'K1']})
index = pd.MultiIndex.from_tuples([('K0', 'K0'), ('K1', 'K0'),
                                   ('K2', 'K0'), ('K2', 'K1')],names=['key1','key2'])
right = pd.DataFrame({'C': ['C0', 'C1', 'C2', 'C3'],
                      'D': ['D0', 'D1', 'D2', 'D3']},
                     index=index)
left.join(right, on=['key1','key2'])

问题

【问题一】 请思考什么是append/assign/combine/update/concat/merge/join各自最适合使用的场景,并举出相应的例子。

append适用于纵向的简单拼接,assign适用于横向增加列;

combine和update主要是用第二个df来填充第一个,主要区别在于combine是两个df按照规则进行逐列组合,自动索引对齐,缺失值补充为NaN,update则是使用来自另一个DataFrame的非NaN值就地进行修改,在索引上对齐,没有返回值;

concat可以在两个维度上对两个df进行拼接,默认为纵向拼接(axis=0),拼接方式默认外连接,也就是取拼接方向的并集,而'inner'时取拼接方向(若使用默认的纵向拼接,则为列的交集)的交集。

merge可以将两个pandas对象横向合并,遇到重复的索引项时会使用笛卡尔积。与concat在axis=1的差别在于on参数可以指定在key值下连接。

join函数作用是将多个pandas对象横向拼接,遇到重复的索引项时会使用笛卡尔积,默认左连接,可选inner、outer、right连接。

【问题二】 merge_ordered和merge_asof的作用是什么?和merge是什么关系?

merge_ordered:函数允许组合时间序列和其他有序数据。 特别是它有一个可选的fill_method关键字来填充/插入缺失的数据。

merge_asof:除了我们匹配最近的键而不是相等的键之外,其他的都类似于有序的left-join 。 对于左侧DataFrame中的每一行,我们选择右侧DataFrame中on键对应的值小于left的键对应的值的最后一行。 两个DataFrame必须按键排序。

你可能感兴趣的:(三个list合并,两个dataframe合并)