Python 与 SQL 这样超强结合，处理数据才是爆赞

大家好，本文的所有演示数据，均是基于下方的四张表。下面这四张表大家应该不陌生，这就是网传50道经典MySQL面试题中使用到的几张原表。关于下方各表之间的关联关系，我就不给大家说明了，仔细观察字段名，应该就可以发现。

pandasql 的使用

1）简介

pandas中的DataFrame是一个二维表格，数据库中的表也是一个二维表格，因此在pandas中使用sql语句就显得水到渠成，pandasql使用SQLite作为其操作数据库，同时Python自带SQLite模块，不需要安装，便可直接使用。

这里有一点需要注意的是：使用pandasql读取DataFrame中日期格式的列，默认会读取年月日、时分秒，因此我们要学会使用sqlite中的日期处理函数，方便我们转换日期格式，下方提供sqlite中常用函数大全，希望对你有帮助。

sqlite函数大全：http://suo.im/5DWraE

导入相关库：

import pandas as pd
from pandasql import sqldf

2）声明全局变量的2种方式

• ① 在使用之前，声明该全局变量；

• ② 一次性声明好全局变量；

① 在使用之前，声明该全局变量

df1 = pd.read_excel("student.xlsx")
df2 = pd.read_excel("sc.xlsx")
df3 = pd.read_excel("course.xlsx")
df4 = pd.read_excel("teacher.xlsx")


global df1
global df2
global df3
global df4
query1 = "select * from df1 limit 5"
query2 = "select * from df2 limit 5"
query3 = "select * from df3"
query4 = "select * from df4"

sqldf(query1)
sqldf(query2)
sqldf(query3)
sqldf(query4)

部分结果如下：

② 一次性声明好全局变量

df1 = pd.read_excel("student.xlsx")
df2 = pd.read_excel("sc.xlsx")
df3 = pd.read_excel("course.xlsx")
df4 = pd.read_excel("teacher.xlsx")

pysqldf = lambda q: sqldf(q, globals())

query1 = "select * from df1 limit 5"
query2 = "select * from df2 limit 5"
query3 = "select * from df3"
query4 = "select * from df4"

sqldf(query1)
sqldf(query2)
sqldf(query3)
sqldf(query4)

部分结果如下：

3）写几个简单的SQL语句

① 查看sqlite的版本

student = pd.read_excel("student.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = """
    select sqlite_version(*)
"""
pysqldf(query1)

结果如下：

② where筛选

student = pd.read_excel("student.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = """
    select * 
    from student 
    where strftime('%Y-%m-%d',sage) = '1990-01-01'
"""
pysqldf(query1)

结果如下：

③ 多表连接

student = pd.read_excel("student.xlsx")
sc = pd.read_excel("sc.xlsx")


pysqldf = lambda q: sqldf(q, globals())
query2 = """
    select *
    from student s
    join sc on s.sid = sc.sid
"""
pysqldf(query2)

部分结果如下：

④ 分组聚合

student = pd.read_excel("student.xlsx")
sc = pd.read_excel("sc.xlsx")


pysqldf = lambda q: sqldf(q, globals())
query2 = """
    select s.sname as 姓名,sum(sc.score) as 总分
    from student s
    join sc on s.sid = sc.sid
    group by s.sname
"""
pysqldf(query2)

结果如下：

⑤ union查询

student = pd.read_excel("student.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = """
    select * 
    from student 
    where strftime('%Y-%m',sage) = '1990-01'
    union
    select * 
    from student 
    where strftime('%Y-%m',sage) = '1990-12'
"""
pysqldf(query1)

结果如下：

推荐文章

• 李宏毅《机器学习》国语课程(2022)来了

• 有人把吴恩达老师的机器学习和深度学习做成了中文版

• 上瘾了，最近又给公司撸了一个可视化大屏(附源码)

• 如此优雅，4款 Python 自动数据分析神器真香啊

• 梳理半月有余，精心准备了17张知识思维导图，这次要讲清统计学

• 香的很，整理了20份可视化大屏模板

技术交流

目前开通了技术交流群，群友已超过3000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友

• 方式①、添加微信号：dkl88191，备注：来自CSDN
• 方式②、微信搜索公众号：Python学习与数据挖掘，后台回复：加群

技术交流、求职内推、干货汇总、与 3000+来自阿里、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~