爬虫:糗事百科

#思路
#1.请求抓取网页
#2.根据正则爬取关键内容
#3.解析出用户名和内容
#4.循环赋值进行输出

import urllib.request
import re

def getcontent(url,page):
    headers=('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36')
    opener=urllib.request.build_opener()
    opener.addheaders=[headers]
    urllib.request.install_opener(opener)
    data=urllib.request.urlopen(url).read().decode('utf-8')
    #构建对应用户提取的正则表达式  #存在匿名用户,所以需要两种条件
    userpat='

(.*?)

\n[\n
#exec()是Python的built-in函数。其作用很好描述,就是执行以string类型存储的Python代码。 

你可能感兴趣的:(python)