pymysql流式游标

Python通过pymysql操作向mysql读取千万、百万级别的数据库时

如果用传统的fetchall()或fetchone()方法，都是先默认在内存里缓存下所有行然后再处理，大量的数据会导致内存资源消耗光，内存容易溢出

此时则建议使用SSCursor(流式游标)，避免客户端占用大量内存

这个 cursor 实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你,使用迭代器而不用 fetchall ,即省内存又能很快拿到数据

例：

def select_pan_url(self):
    db = pymysql.connect(host='localhost', port=3306, user='root', passwd='', db='')
    cursor = db.cursor(cursor=pymysql.cursors.SSDictCursor)

    select_sql = "select `name`, `detail_url`, `pan_title`, `pan_psw`, `pan_real_url` from agepan_wj"
    try:
        cursor.execute(select_sql)
        # 在处理大量数据时可以分割进行
        datas = cursor.fetchall()
        for pan in datas:
            self.row_lists.append(pan)
    except Exception as e:
        print('取数据失败', e)
        db.rollback()
    finally:
        cursor.close()
        db.close()

需要注意的是：

因为SSCursor是没有缓存的游标，结果集只要没取完，这个connect是不能再处理别的sql，包括另外生成一个cursor 也不行的，如果需要干别的，请另外再生成一个连接对象

每次读取后处理数据要快，不能超过 60 s，否则mysql将会断开这次连接

也可以修改SET NET_WRITE_TIMEOUT = xx来增加超时间隔