爬虫进阶——Python如何实现定时爬虫

前言

工作中可能会突然有这样的一个需求,需要让爬虫任务定时去执行,定时获取数据信息。那要怎么做呢?
废话不多说,跟着小编直接进入主题。下面是针对定时爬虫将获取的数据自动存入mysql中,方法如下

1. 结合python的定时框架APScheduler

参考代码如下:

from apscheduler.schedulers.background import BackgroundScheduler, BlockingScheduler
import requests
import random
import re
from lxml import etree
import pymysql

scheduler = BlockingScheduler(

你可能感兴趣的:(爬虫实战进阶,python,爬虫,定时任务,数据库)