爬取重庆市人力资源社会保障网招录信息板块并生成RSS

本人初学者水平,代码写得比较差,只是能实现相关的功能,代码优化不足.希望对于有爬虫和RSS需求的Pythoner有所帮助.

环境:Windows7 + Python3.4.2
库需求:requests PyRss2Gen BeautifulSoup4

import PyRSS2Gen
import datetime
import requests
import codecs
import re
from bs4 import BeautifulSoup
# ***********************************************************************
# 脚本使用方法
# 1.配置config属性
# 2.由于水平很低,耦合度很高,也没有普遍性.需要小幅度修改各个函数的代码.
# 3.某些网站需要在header中设置host及Referer属性服务器才会响应,自行添加相关代码
# ***********************************************************************

# 设置配置文件避免不同网站大幅度修改源代码
config = {
  "url":"http://www.cqhrss.gov.cn/zwxx/ywfl/rsrc/klzl/",  #需要获取列表的网页
  "urldefualt":'http://www.cqhrss.gov.cn',  #某些网站需要通过首页进入子网页,该配置表示网站首页
  "rssTitle":"重庆人社人员招录",  #RSS的标题
  "cssSel":".article_list  li", #在列表网页获取列表的CSS选择器
  "articleSel":".article", #文章列表获取文章内容的CSS选择器
  "linkTag":"a", #在列表中选择网页链接的标签名
  "titleTag":"pp", #在列表中选择网页的标题的标签名
  "dateTag":"span", #在列表中选择网页的发布日期的标签名
  "xmlpath":r"D:\cqhrss.xml", # 生成的XML文件的路径及名字
}

# 获取Beautifulsoup tag对象的网址链接,发布时间,标题等信息,为制作RSS提供数据
# 函数输入为文章List的每一个TAG对象,输出为网页链接,发布日期,标题的字符串
def get_data(tag):
  link = config["urldefualt"] + tag.find(config["linkTag"]).attrs["href"]
  date = tag.find(config["dateTag"]).string
  title = tag.find(config["titleTag"]).string
  return link,date,title

# 清洗数据,将获取的文章列表中的Style全部去除
# 函数的输入为需要清洗的html字符串,输出为清洗后的Html字符串
def clean(html):
  style = r' style="[^"]*"'
  html = re.sub(style , "" , html)
  return html

# 进入文章网页获取网页内容返回适合RSS Description的数据
# 函数的输入为每篇文章的URL链接,输出为全文RSS的Description字符串
def get_article(articleUrl):
  articleHtml = session.get(articleUrl,headers=headers).text
  articleSoup = BeautifulSoup(articleHtml,'html.parser',from_encoding="utf-8")
  article = str( articleSoup.select(config["articleSel"])[0] )
  article = clean(article)
  descriptionData = ""
  return descriptionData

# 定义浏览器headers
headers = {
  'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
  'Accept-Encoding':'gzip, deflate, sdch',
  'Accept-Language':'zh-CN,zh;q=0.8',
  'Connection':'keep-alive',
  'Cache-Control':'no-cache',
  'Pragma':'no-cache',
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
}

# 模拟浏览器创建网站session,防止网站重定向
session = requests.session()
session.get(config["urldefualt"],headers=headers)
ans_html = session.get(config["url"],headers=headers).text

# 利用BS4找到文章列表
soup = BeautifulSoup(ans_html,'html.parser')
li_list = soup.select(config["cssSel"])


# 生成RSS对象
rss = PyRSS2Gen.RSS2(
    title = config["rssTitle"],
    link = config["urldefualt"],
    description = config["rssTitle"],
    lastBuildDate = datetime.datetime.now(),
    items= [])
for li_data in li_list:
    link,date,title = get_data(li_data)
    descriptionCache = get_article(link)
    item = PyRSS2Gen.RSSItem(
        title = title,
        link = link,
        description = descriptionCache,
        guid = link,
        pubDate = date
    )
    rss.items.append(item)

#发布RSS文件
file=codecs.open(config["xmlpath"],'w+','utf-8')
file.writelines(rss.to_xml(encoding='utf-8'))
file.close()