Python 爬虫
爬虫
-
开发工具pycharm, python3.8
-
用到的模块
-
fake_useragent 模块
-
requests 模块
-
使用xpath解析html
-
-
爬虫基本原理分析
-
书写代码爬取网络资源
获取网页信息
-
构建请求头
-
使用XPath解析HTML
XPath是一门在XML文档中查找信息的语言
爬取豆瓣电影top250
```python
# @function:爬取电影top250
# @Description:一只萤火虫
# 清华大学镜像网站 https://pypi.tuna.tsinghua.edu.cn/simple/
# 安装 requests库文件
# 安装 fake-user库文件
import time
import requests
from fake_useragent import UserAgent
from lxml import html
def get_html(url):
user_agent = UserAgent() # 使用浏览器生成库
headers = {"user-agent": user_agent.random} # 随机生成浏览器
response = requests.get(url, headers=headers) # 获得响应对象
if response.status_code != 200:
raise Exception("请检查传入的url", url)
return response.text
if __name__ == "__main__":
url = "https://movie.douban.com/top250?start={}" # 需要解析的网页
etree = html.etree # 构建解析对象
for i in range(10):
html_str = get_html(url.format(i * 25))
html = etree.HTML(html_str)
# //*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1] ;网页标题，右键->检查->copy->复制xpath路径
# //*[@id="content"]/div/div[1]/ol/li[2]/div/div[2]/div[1]/a/span[1] ;对比发现一个li对应一个电影名字
# //*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/div/span[2] ; 评分
# 遍历每一个li标签，一个li据对应一个电影的信息
lis = html.xpath('//*[@id="content"]/div/div[1]/ol/li')
j = 25 * i
for li in lis:
spans_info = li.xpath('./div/div[2]/div[1]/a/span[1]')
movie_title = " "
for span in spans_info:
movie_title += span.text
j += 1
# print("第{:2}个电影：{:18}".format(i, movie_title), end="\t")
spans_scores = li.xpath('./div/div[2]/div[2]/div/span[2]')
movie_score = ""
for span in spans_scores:
movie_score += span.text
# print("豆瓣：{:.4}分".format(movie_score))
print("第{:2}个电影：{:30}/豆瓣{}分".format(j, movie_title, movie_score))
time.sleep(5)
```