python定时爬取实时连接数据

最近领导有这样的要求，每天上午9点、11点和下午六点查看链接里面的数据，手动去查询的话，若再不定闹钟的情况下经常忘记，导致数据不精准，现在通过python实时爬取连接数据，再也不用被领导骂了

timg.jpg

!/usr/bin/python3

-- coding: utf-8 --

import requests
from bs4 import BeautifulSoup
import time
from datetime import datetime

 #请求数据
 def get_data():
 #Headers 里面大小写均可
url = 'http://'
headers={'Users-Agent':"Mozilla/5.0(X11;Ubuntu;Linux )x86_64;rv:52.0)Gecko/20100101 Firefox/52.0"}
data=requests.get(url,headers=headers)
# print(data.text)


#解析数据
soup=BeautifulSoup(data.text,'html.parser')
print(datetime.now(),soup)
return soup
if __name__ == '__main__':
get_data()



while True:
if datetime.now() < datetime(2018, 9,4, 23, 59, 59):  # 查询截止时间为2018-9-4 23:59:59
    get_data()
    time.sleep(60)  # 每隔一个小时查询一次
else:
    print("已到截止时间，停止取数。")
    break