1.【python爬虫学习笔记】爬取豆瓣电影top250
基于requests库以及lxml库，实现豆瓣top250名单的爬取，并将海报存储在本地。
模块使用如下
import requests
from lxml import etree
import os
import timerequests库以及lxml库均为第三方库需另外安装。
requests用于网页的请求部分
1.构建网页请求函数，URL作为参数，返回requests对象。
def url_open(url):
# 网页请求
web_data = requests.get(url)
return web_datalxml用于解析网页结构，寻找特定元素
2.构建网页结构解析函数，URL及xpath路径作为参数，返回检索结果列表
def get_element(url,paths):
# 解析成html格式
html = url_open(url).text
# 解析html
tree = etree.HTML(html)
tag = []
for path in paths:
# 检索特定标签元素
#将检索结果生成list
tag.append(tree.xpath(path))
return tag3.构建主函数
初始参数如下
包括首页的URL，并装于list中
urls = ['https://movie.douban.com/top250']
paths = ['//div[@class="paginator"]/a/@href']
paths_2 = ['//div[@class="pic"]/em','//div[@class="hd"]/a/span[1]','//div[@class="star"]/span[@class="rating_num"]','//div[@class="item"]//a/img/@src']由于需要获取的网页有多个，所以将所有URL放入一个list
从首页解析到的只是URL的尾部，故此处使用了列表生成式将URL补全
lists = ['https://movie.douban.com/top250/{}'.format(str(x)) for x in get_element(urls[0],paths)[0]] 将生成的list并入之前首页URL所在的list，便于接下来的处理
urls.extend(lists) dic = []
for url in urls:
time.sleep(2)
# 各元素的列表的集合列表
element_lists = get_element(url,paths_2)
nums = element_lists[0]
names = element_lists[1]
scores = element_lists[2]
imgs = element_lists[3]将每一个电影的信息保存在一个dictionary中
for i in range(0,len(nums)):
# 对应电影字典在排名list中的位置
n = int(nums[i].text)-1
# 每一条电影的信息保存在一个字典中
dict_film = {}
dict_film['num'] = str(n+1)
dict_film['name'] = names[i].text
dict_film['score'] = scores[i].text
dict_film['imgs'] = imgs[i]
#加入list
dic.append(dict_film)将图片保存
#图片保存的相对路径
file_path = r"E:\\课件\pic"
#创建文件夹
os.makedirs(file_path)
for d in dic:
print("%-5s %-5s %-20s"%(d['num'],d['score'],d['name']))
#改变文件操作状态为file_path路径
os.chdir(file_path)
#图片保存的文件名
file_name = d['name']+ '.' + d['imgs'].split('.')[-1]
#获取图片的二进制数据
img = url_open(d['imgs']).content
#文件的保存操作
with open(file_name,'wb') as f:
f.write(img)整体代码如下
import requests
from lxml import etree
import os
import time
def url_open(url):
# 网页请求
web_data = requests.get(url)
return web_data
def get_element(url,paths):
# 解析成html格式
html = url_open(url).text
# 解析html
tree = etree.HTML(html)
tag = []
for path in paths:
# 检索特定标签元素
#将检索结果生成list
tag.append(tree.xpath(path))
return tag
def main():
urls = ['https://movie.douban.com/top250']
paths = ['//div[@class="paginator"]/a/@href']
paths_2 = ['//div[@class="pic"]/em','//div[@class="hd"]/a/span[1]','//div[@class="star"]/span[@class="rating_num"]','//div[@class="item"]//a/img/@src']
lists = ['https://movie.douban.com/top250/{}'.format(str(x)) for x in get_element(urls[0],paths)[0]]
urls.extend(lists)
dic = []
for url in urls:
time.sleep(2)
# 各元素的列表的集合列表
element_lists = get_element(url,paths_2)
nums = element_lists[0]
names = element_lists[1]
scores = element_lists[2]
imgs = element_lists[3]
for i in range(0,len(nums)):
# 对应电影字典在排名list中的位置
n = int(nums[i].text)-1
# 每一条电影的信息保存在一个字典中
dict_film = {}
dict_film['num'] = str(n+1)
dict_film['name'] = names[i].text
dict_film['score'] = scores[i].text
dict_film['imgs'] = imgs[i]
#加入list
dic.append(dict_film)
#图片保存的相对路径
file_path = r"E:\\课件\pic"
#创建文件夹
os.makedirs(file_path)
for d in dic:
print("%-5s %-5s %-20s"%(d['num'],d['score'],d['name']))
#改变文件操作状态为file_path路径
os.chdir(file_path)
#图片保存的文件名
file_name = d['name']+ '.' + d['imgs'].split('.')[-1]
#获取图片的二进制数据
img = url_open(d['imgs']).content
#文件的保存操作
with open(file_name,'wb') as f:
f.write(img)
if __name__ == '__main__':
main()不足
缺少容错机制
功能较少
数据结构使用简单
还在学习中，进一步完善。