爬虫

import re
import urllib.request

start_url = 'http://49.232.208.237/zs/'

def get_source(url):
    """
    获取网页源代码。
    :param url: 网址
    :return: 网页源代码
    """
    html = urllib.request.urlopen(url)          # 获取URL页面源代码
    return html.read().decode('UTF-8')          # 网站编码


def getPageList(html):
    """
    获取页码列表和页码链接
    :param html: 页面源代码
    :return: 每页链接和页标题
    """
    pageListLink = []
    toc_block = re.findall('
(.*?)
', html, re.S)[0]   # 提取所有页列表
    pageTitle = re.findall('.html">(.*?)', html, re.S)      # 提取页标题
    urls = re.findall('href="(.*?)"', toc_block, re.S)          # 提取页面链接
    for url in urls:
        pageListLink.append(start_url + url)                    # 组合链接存入列表
    return pageTitle, pageListLink


def getJobInto(html):
    """
    或缺每页的信息列表
    :param html: 页面源代码
    :return: 列表信息
    """
    jobs = []
    JobInto = re.findall('
(.*?)', html, re.S)    # 匹配所有工作信息
    for job in JobInto:         # 遍历每一个工作，提取工作的详细信息
        into=[]                 # 提取工作的信息存入此列表
        title = re.search('class="job-name fl">(.*?)
', job, re.S).group(1)    # 提取标题
        salary = re.search('class="fl">(.*?)

', job, re.S).group(1) # 提取薪资 city = re.search('class="ads">(.*?)', job, re.S).group(1) # 提取城市 company = re.search('class="comp-name fl">(.*?)

', job, re.S).group(1) # 提取公司 time = re.search('class="time fr">(.*?)