正则表达式解析 网页

python 用正则解析了一下我们学校的校园新闻
由于在response header 里没有找到charset 所以 requests.get(xxx).text()默认iso889 反正中文乱码
此时应该用 requests.get(xxx).content.decode()方法
re.compile() 创建一个正则对象

import re
import requests
lnit ='http://www.lnit.edu.cn'
net =lnit+'/index/xxxw.htm'
content = requests.get(net).content.decode('utf-8')
pattern = re.compile('',re.S)
results = re.findall(pattern,content)
for result in results:
    mhref, title =result
    href =lnit+ mhref[2:]
    print(href,title)

然后 结果就是：

(http://www.lnit.edu.cn/info/1150/185079.htm) 我校举办学习宣传党的十九大精神网络知识竞赛吸引全省高校热烈参与
(http://www.lnit.edu.cn/info/1150/185077.htm) 我校10名教师入选第十一批辽宁省“百千万人才工程”人选
(http://www.lnit.edu.cn/info/1150/185076.htm) 我校举办第六届学生乒乓球赛
(http://www.lnit.edu.cn/info/1150/185073.htm) 我校纪念“一二·九”运动主题演讲比赛决赛圆满落幕
(http://www.lnit.edu.cn/info/1150/185072.htm) 我校在第十届全国大学生网络商务创新应用大赛中获佳绩
(http://www.lnit.edu.cn/info/1150/185059.htm) 我校举行学习贯彻党的十九大精神报告会
(http://www.lnit.edu.cn/info/1150/185048.htm) 我校举行第十二届教师讲课大赛
(http://www.lnit.edu.cn/info/1150/185047.htm) 我校宁夏校友会成立大会在银川举行
(http://www.lnit.edu.cn/info/1150/185046.htm) 我校召开2017年毕业生就业工作考评会
(http://www.lnit.edu.cn/info/1150/185045.htm) 校友丁常勇助力母校注资“大学生科技创新创业基金”
(http://www.lnit.edu.cn/info/1150/185044.htm) 我校万得车队在中国大学生方程式汽车大赛再创佳绩
(http://www.lnit.edu.cn/info/1150/185043.htm) 我校第31届校园歌手大赛圆满落幕
(http://www.lnit.edu.cn/info/1150/185038.htm) 我校第二届大学生创业大赛决赛圆满落幕
(http://www.lnit.edu.cn/info/1150/185033.htm) 省委第十巡视组专项巡视我校党委工作
(http://www.lnit.edu.cn/info/1150/185031.htm) 我校佟绍成教授、李永明教授再度入选“高被引科学家”名录
(http://www.lnit.edu.cn/info/1150/185030.htm) 省委高校工委调研组来我校开展党建和思想政治工作专项调研督查
(http://www.lnit.edu.cn/info/1150/185029.htm) 我校召开2017年度科技工作推进会
(http://www.lnit.edu.cn/info/1150/185028.htm) 我校在“挑战杯”全国大学生课外学术科技作品竞赛中获奖
(http://www.lnit.edu.cn/info/1150/185020.htm) 我校2017年教职工乒乓球赛圆满结束
(http://www.lnit.edu.cn/info/1150/185019.htm) 党的十九大代表走进辽宁工业大学宣讲十九大精神