[python爬虫]爬寻雪球网

导包

	from urllib import request,parse
	from piaot import *
	import json
	import pymysql
	yeshu是输入的页数
	#自己创建一个数据库函数
	def sql(sql_z):
	    # 打开数据库连接
	    db = pymysql.connect("192.168.43.128", "root", "123456", "xq", charset='utf8')
	
	    # 使用 cursor() 方法创建一个游标对象 cursor
    cursor = db.cursor()

    # 使用 execute()  方法执行 SQL 查询
    cursor.execute("")

    # 使用 fetchone() 方法获取单条数据.
    data = cursor.fetchone(sql_z)

    print("Database version : %s " % data)

    # 关闭数据库连接
    db.close()

将爬取得网页做成函数

xq函数，参数：（xq_url=网站url,shu=为递归所需参数无须添加，yeshu=共页数）

def xq(xq_url=None,shu=0,yeshu=1):

    # 判断是否是带参数（url循环条件的id值）
    if xq_url:
        url = "https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&max_id=" + s