最简单的爬虫入门

豆瓣电影TOP250

一、 爬虫相关工具

1. python3中自带的urllib

2. python3中鼎鼎大名的包requests

3. 正则表达式或xpath等数据匹配

4. 谷歌浏览器调试工具

二、 豆瓣电影分析

1. 获取网页源码

urllib版

import urllib
response = urllib.request.urlopen(url)
html = response.read()

requests版(需要单独安装requests包)

import requests
response = requests.get(url)
html = response.text

2. 网页源码分析

通过使用浏览器的F12功能


最简单的爬虫入门_第1张图片
调试功能的左右对比

    肖申克的救赎
     / The Shawshank Redemption
     / 月黑高飞(港)  /  刺激1995(台)

可以从中发现所需信息:
a标签中属性href:链接
span标签中文本:电影名称

3. xpath的操作

a标签中属性href://ol/li//div[@class='hd']/a/@href
span标签中的文本://ol/li//div[@class='hd']/a/span[1]/text()这里需要注意span后面是否带有下标指向

4. 如何翻页

最简单的爬虫入门_第2张图片
翻页导航

如法炮制,匹配后页的链接并通过urllib进行跳转
//a[text()='后页>']/@href
需要注意链接并不完整,加上协议、域名以及路径:https://movie.douban.com/top250

5. 如何判断结束

此时后页为灰色,无法跳转

匹配为空即是结束

6. 如何获取具体电影的详细内容

通过2中获取到的链接内容,进行链接的跳转,并对相关数据进行匹配处理

三、 稍微进阶的相关内容

1. header消息头

起到反爬虫等作用

2. 上传表单

post表单数据


最简单的爬虫入门_第3张图片
微博登录时的表单

3. selenium与js的加载

例如豆瓣电影搜索中的window.__DATA__部分js加密,通过selenium可以节省很大的力气。但是selenium的速度过慢,使用时依据具体情况

4. 谷歌浏览器的抓包与断点调试

这点实在不知道怎么编

四、练手项目

皇室战争天梯比赛记录
英雄联盟游戏壁纸下载,农药的也行
全民K歌歌曲下载

你可能感兴趣的:(最简单的爬虫入门)