python爬彩票数据_用Python爬取双色球开奖信息（升级版）

前言

在《用Python简单爬取双色球开奖信息》中，完成了初始的爬取工作，但定时爬取的方法会爬取很多重复的数据，我们希望更精准更自动地去爬取。通过研究发现，中国福利彩票双色球每周二、四、日21:15开奖，中国体育彩票超级大乐透每周一、三、六21:30开奖，那么这次升级版的目标就是：

1、自动完成安装工作

2、在周二、四、日的晚上23:00爬取中国福利彩票双色球开奖数据，在周一、三、六的晚上23:00爬取中国体育彩票超级大乐透开奖数据。

二、工具

python2.7

一台debian 8.2的服务器

三、具体方法

1、使用python2.7编写爬取脚本

这里除了正常的爬取操作，还增加了独立的参数设定。如果没有参数，爬取的数据就在当前目录下；如果有参数，可以设定保存目录、保存文件名后缀。这样的话，这个脚本既可以单独使用，也可以配合sh定时任务使用。

双色球爬取代码grab500_ssq.py内容：# -*- coding:utf-8 -*-

import re

import urllib

import time

import sys

datapath = sys.path[0]

datasuffix = 'txt'

if (len(sys.argv)>1):

datapath = sys.argv[1]

datasuffix = sys.argv[2]

def getHtml(url):

html = urllib.urlopen(url)

re