Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍

今天准备介绍一篇超级肝货Pandas是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的。它提供了大量能使我们快速便捷地处理数据的函数和方法。本文介绍的这20个【被分成了15组】函数,绝对是数据处理杀手,用了你会爱不释手。Pandas教程

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第1张图片

构造数据集

这里为大家先构造一个数据集,用于为大家演示这20个函数。

import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪 ','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
df = pd.DataFrame(df)
df

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第2张图片

1. cat函数

这个函数主要用于字符串的拼接

df["姓名"].str.cat(df["家庭住址"],sep='-'*3)

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第3张图片

2. contains函数

这个函数主要用于判断某个字符串是否包含给定字符

df["家庭住址"].str.contains("广")

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第4张图片

3. startswith、endswith函数

这个函数主要用于判断某个字符串是否以...开头/结尾

# 第一个行的“ 黄伟”是以空格开头的
df["姓名"].str.startswith("黄") 
df["英文名"].str.endswith("e")

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第5张图片

4. count函数

这个函数主要用于计算给定字符在字符串中出现的次数

df["电话号码"].str.count("3")

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第6张图片

5. get函数

这个函数主要用于获取指定位置的字符串

df["姓名"].str.get(-1)
df["身高"].str.split(":")
df["身高"].str.split(":").str.get(0)

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第7张图片

6. len函数

这个函数主要用于计算字符串长度

df["性别"].str.len()

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第8张图片

7. upper、lower函数

这个函数主要用于英文大小写转换

df["英文名"].str.upper()
df["英文名"].str.lower()

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第9张图片

8. pad+side参数/center函数

这个函数主要用于在字符串的左边、右边或左右两边添加给定字符

df["家庭住址"].str.pad(10,fillchar="*")      # 相当于ljust()
df["家庭住址"].str.pad(10,side="right",fillchar="*")    # 相当于rjust()
df["家庭住址"].str.center(10,fillchar="*")

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第10张图片

9. repeat函数

这个函数主要用于重复字符串几次

df["性别"].str.repeat(3)

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第11张图片

10. slice_replace函数

这个函数主要用于使用给定的字符串,替换指定的位置的字符

df["电话号码"].str.slice_replace(4,8,"*"*4)

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第12张图片

11. replace函数

这个函数主要用于将指定位置的字符,替换为给定的字符串

df["身高"].str.replace(":","-")

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第13张图片

这个函数还接受正则表达式,将指定位置的字符,替换为给定的字符串。

df["收入"].str.replace("\d+\.\d+","正则")

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第14张图片

12. split方法+expand参数

这个函数主要用于将一列扩展为好几列

# 普通用法
df["身高"].str.split(":")
# split方法,搭配expand参数
df[["身高描述","final身高"]] = df["身高"].str.split(":",expand=True)
df
# split方法搭配join方法
df["身高"].str.split(":").str.join("?"*5)

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第15张图片

13. strip、rstrip、lstrip函数

这个函数主要用于去除空白符、换行符

df["姓名"].str.len()
df["姓名"] = df["姓名"].str.strip()
df["姓名"].str.len()

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第16张图片

14. findall函数

这个函数主要用于利用正则表达式,去字符串中匹配,返回查找结果的列表

df["身高"]
df["身高"].str.findall("[a-zA-Z]+")

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第17张图片

15. extract、extractall函数

这个函数主要用于接受正则表达式,抽取匹配的字符串(一定要加上括号)

df["身高"].str.extract("([a-zA-Z]+)")
# extractall提取得到复合索引
df["身高"].str.extractall("([a-zA-Z]+)")
# extract搭配expand参数
df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True)

效果图:

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第18张图片

如果你觉得这篇文章,对你有点用的话,不要忘记三连哦,因为这将是我持续输出更多优质文章的最强动力!

最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第19张图片

二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第20张图片

三、全套PDF电子书
书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第21张图片

四、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第22张图片

四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第23张图片

这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。
Pandas教程:20个pandas函数让你的“数据清洗“能力提升100倍_第24张图片

你可能感兴趣的:(python,程序员,python,数据挖掘,数据分析,pandas)