第十章用Python获取sqlite、MySQL、Excel、csv、json中的数据

本文可以学习到以下内容：

用Python、pandas获取sqlite3中的数据

用Python、pandas获取MySQL中的数据

用Python、pandas获取Excel、csv、json中的数据

数据及源码地址：https://gitee.com/myrensheng/data_analysis

项目背景

小凡所在的数据部门需要经常和各种数据打交道，包括数据库、Excel、csv、json。面对各种各样的数据，小凡总结了一套数据读取的方法。

获取sqlite3中的数据

sqlite3是一个很轻量级C语言库，可以提供一种基于磁盘的数据库。在浏览器、手机、电子设备中广泛使用。
我们可以用SQL语句查询数据，还可以用Python操作sqlite3数据库对数据进行查询。
更多详细操作，官网地址：https://docs.python.org/zh-cn/3.9/library/sqlite3.html

sqlite3库获取sqlite数据

import sqlite3
# 创建一个连接对象，连接上上级目录下的 data.db 数据库
conn = sqlite3.connect("../data.db")
# 创建一个游标对象，操作数据库中的数据
c = conn.cursor()
# 执行 SQL 语句查询数据
sql = "select * FROM salesSummary limit 5;"
result = c.execute(sql)
# 查看数据
for r in result:
    print(r)
# 数据操作完成后，需要关闭数据库的连接
conn.close()

将此操作封装为函数：

def get_sqlite3_data(sql,db_path="../data.db"):
    conn = sqlite3.connect(db_path)
    c = conn.cursor()
    # 将数据保存到列表中
    result = [r for r in c.execute(sql)]
    conn.close()
    return result

调用函数：

sql = "select * FROM salesSummary limit 5;"
result = get_sqlite3_data(sql)
print(result)

pandas库获取sqlite数据

pandas读取sqlite3数据需要用到sqlalchemy库
sqlalchemy官网地址：https://www.osgeo.cn/sqlalchemy/
pandas的read_sql方法通过sql语言获取数据

import os
import pandas as pd
import numpy as np
from sqlalchemy import create_engine

# 数据库地址：数据库放在上一级目录下
db_path = os.path.join(os.path.dirname(os.getcwd()),"data.db")
engine_path = "sqlite:///"+db_path

# 获取数据函数，根据输入的SQL语句返回 DataFrame 类型数据
def link_sqlite(sql):
    engine = create_engine(engine_path)
    df = pd.read_sql(sql,con=engine)
    return df

sql = "select * from salesSummary"
df = link_sqlite(sql)

# 查看数据前5条数据
df.head()

获取MySQL中的数据

MySQL是个人和中小型企业常用的关系型数据库
体积小、速度快、成本低，开放源码
python读取没有MySQL需要安装 pymysql 第三方库

pip install pymysql

pymsql库获取MySQL数据

import pymysql

host = "127.0.0.1"
port=3306
user="user"
password="password"
database="database"

conn = pymysql.connect(
    host=host,
    port=port,
    user=user,
    password=password,
    database=database
)

cursor = conn.cursor()

sql = "select * from country limit 5;"
cursor.execute(sql)

cursor.fetchone()

conn.close()

将此操作封装为函数使用：

import pymysql

host = "127.0.0.1"
port=3306
user="user"
password="password"
database="database"


def get_mysql_data(sql):
    conn = pymysql.connect(host=host,port=port,user=user,password=password,database=database)
    cursor = conn.cursor()
    cursor.execute(sql)
    result = [r for r in cursor.fetchall()]
    conn.close()
    return result

pandas库获取mysql数据

官方文档：https://docs.sqlalchemy.org/en/20/intro.html
需要先安装 SQLAlchemy和pymysql第三方库

from sqlalchemy import create_engine
# 当密码中有特殊符合时：@!@#$%^&*(),需要处理一下
from urllib.parse import quote_plus as urlquote

host = "127.0.0.1"
port=3306
user="user"
password="password"
database="database"
url = f"mysql+pymysql://{user}:{urlquote(password)}@{host}:{port}/{database}"

engine = create_engine(url=url)

sql = "select * from country limit 5;"
df = pd.read_sql(sql,con=engine)

获取Excel中的数据

Excel是一款电子表格软件，出色的计算功能和图表工具
Python获取Excel数据需要安装 xlrd 库
文档地址：https://xlrd.readthedocs.io/en/latest/

pip install xlrd

xlrd库获取Excel数据

import xlrd

# 打开指定的Excel文件
workbook = xlrd.open_workbook("../数据源/省市区adcode与经纬度映射表.xlsx")

# Excel文件中的工作薄数量
sheet_num = workbook.nsheets
# Excel 文件中工作薄名字
sheet_name = workbook.sheet_names()

# 打开第一个工作簿
sheet = workbook.sheet_by_index(0)
# 工作薄名字
sh_name = sheet.name
# 工作簿行数
sh_rows = sheet.nrows
# 工作簿列数
sh_cols = sheet.nclos

# 获取指定单元格的数据
cell = sheet.cell_value(rowx=29,colx=3)
# 获取一行数据
row_value = sheet.row(0)
# 获取一列数据
col_value = sheet.col(0)

print(sheet_name,sh_name,sh_rows,sh_cols,cell,row_value)
print(col_value)

pandas库获取Excel数据

pandas使用read_excel方法获取Excel数据

import numpy as np
import pandas as pd

df= pd.read_excel("../数据源/省市区adcode与经纬度映射表.xlsx")

df.head()

获取csv中的数据

csv以纯文本形式存储表格数据，已字符分割不同值
CSV是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用
Python内置的csv模块可以读取csv数据

csv库读取csv数据

import csv

with open("../数据源/sale.csv",encoding="gbk") as f:
    f_csv = csv.reader(f)
    header = next(f_csv)
    print(header)
    for r in f_csv:
        print(r)

pandas读取csv数据

pandas的read_csv方法获取数据

import numpy as np
import pandas as pd

df= pd.read_csv("../数据源/earphone_sentiment.csv")

获取json中的数据

json是一种轻量级的数据交换格式
简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言
Python内置的json模块可以读取csv数据

json库读取json数据

import json

with open("../数据源/商品销售额.json") as f:
    json_data = json.load(f)
    print(json_data)

pandas读取json数据

pandas中的read_json方法获取数据

import numpy as np
import pandas as pd

df = pd.read_json("../数据源/商品销售额.json")

总结

数据获取是数据分析的基础，小凡总结的只是常用代码中的一小部分，数据分析的道路任重道远...