学习进度03

import re
import requests


def parse_page(url):
    headers = {
        'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 79.0.3945.130Safari / 537.36'
    }
    resp = requests.get(url,headers)
    text = resp.text
    # re.DOTALL .也可以匹配换行符
    titles = re.findall(r'.*?(.*?)', text, re.DOTALL)
    print(titles)

def main():
# url ='https://www.gushiwen.org/default_1.aspx'
   for x in range(1, 18):
       url ='https://www.gushiwen.org/default_%s.aspx' % x
       parse_page(url)

if __name__ == '__main__':
    main()

古诗文网站的爬取

今天学习到了使用正则表达式来爬取网页,感觉xpath比较好用,但是我自己爬取b站《花牌情缘》的评论时发现并不能成功

为什么呢?

因为评论是一点点加载出来的,你往下拉,他才会出现新的,然后会有好多页,翻页也是这样,在网上查了一下评论数据保存在这个请求里面,以json保存的

Request URL:
https://api.bilibili.com/x/v2/reply?callback=jQuery17204184039578913048_1580701507886&jsonp=jsonp&pn=1&type=1&oid=700
 

但是你点开这个网页是403错误,在网上查了一下,需要访问这个网页https://api.bilibili.com/x/v2/reply?pn=1&type=1&oid=700

点开是一个json数据,今天还学习了python中json对象的解析。

 
 
 

 

你可能感兴趣的:(学习进度03)