Python自动翻页爬取网页名称、评论等信息实例
一、已知评论页数，自动翻页爬取
import requests
from bs4 import BeautifulSoup
page = int(input('请输入评论总页数：'))+1 #整型
for i in range(1,page):
url = 'https://wordpress-edu-3autumn.localprod.oc.forchange.cn/all-about-the-future_04/comment-page-'+str(i)+'/#comments'
print('第%d页评论：'%(i))
res = requests.get(url)
soup = BeautifulSoup(res.text,'html.parser')
comments = soup.find_all('div',class_='comment-content')
for comment in comments:
print(comment.text)
二、爬豆瓣Top的相关信息
把豆瓣TOP250里面的 序号/电影名/评分/推荐语/链接 都爬取下来，然后打印出来。
代码如下：
import requests
from bs4 import BeautifulSoup
for x in range(25):
url = 'https://movie.douban.com/top250?start=' + str(x*25) + '&filter='
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
res = requests.get(url,headers=headers) #注意headers=headers
#print(res.status_code) #检查requests请求返回状态码
soup = BeautifulSoup(res.text, 'html.parser')
bs = soup.find('ol', class_="grid_view")
items = bs.find_all('div',class_='item')
for item in items:
num = item.find('em',class_="").text
#查找序号
title = item.find('span', class_="title").text
#查找电影名
tes = item.find('span',class_="inq").text
#查找推荐语
comment = item.find('span',class_="rating_num").text
#查找评分
url_movie = item.find('a')['href']
print(num + '.' + title + '——' + comment + '\n' + '推荐语：' + tes +'\n' + url_movie+'\n')