pandas 数据载入、存储及文件格式(与数据库交互)

                                                    与数据库交互

 

在业务场景中,大部分数据并不是存储在文本或Excel文件中的。基于 SQL 的关系型数据库(例如 SQL Server、PostgreSQL 和 MQL)使用广泛,很多小众数据库也变得越发流程。数据库的选择通常取决于性能、数据完整性以及应用的可伸缩性需求。

从 SQL 中将数据读取为 DataFrame 是相当简单直接的,pandas 有多个函数可以简化这个过程。

1、使用 Python 内建的 sqlite3 驱动生成一个 SQLite 数据库、往数据库表中插入数据、从数据库表中选择数据、将从数据库表中选择的数据读取为 DataFrame 数据集。

    使用 Python 内建的 sqlite3 驱动生成一个 SQLite 数据库:

        

        

        

        

        

    往数据库表中插入数据:

        

        

        

        

    从数据库表中选择数据:

        当从数据库的表中选择数据时,大部分的 Python 的 SQL 驱动(PyODBC、psycopg2、MySQLdb、pymysql 等)返回的是元组的列表。

        

        

        

    使用包含在游标的 description 属性中的列名作为列索引,将 rows 元组的列表传递给 DataFrame 构造函数,生成 DataFrame 数据集:

        

        pandas 数据载入、存储及文件格式(与数据库交互)_第1张图片

2、使用 pandas 的 read_sql 函数从通用的 SQLAlchemy 连接中轻松读取数据。

    安装 SQLAlchemy 工具包:

        pip install sqlalchemy

        conda install sqlalchemy

    读取数据:

        

        

你可能感兴趣的:(pandas 数据载入、存储及文件格式(与数据库交互))