爬虫

request 常用的几种方法:

爬虫_第1张图片

xpath

Xpath解析网页的流程:
1.首先通过Requests库获取网页数据
2.通过网页解析,得到想要的数据或者新的链接
3.网页解析可以通过 Xpath 或者其它解析工具进行,Xpath 在是一个非常好用的网页解析工具
爬虫_第2张图片
常见的解析方法比较
爬虫_第3张图片

一个简单的爬虫-requests+xpath

import requests
from lxml import etree

url = 'https://movie.douban.com/subject/1292052/'
data = requests.get(url).text                    #读取网页内容
s=etree.HTML(data)                               #解析网页内容

film=s.xpath('//*[@id="content"]/h1/span[1]/text()')  #使用xpath读取内容
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')
actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')
time=s.xpath('//*[@id="info"]/span[13]/text()')

print('电影名称:',film)
print('导演:',director)
print('主演:',actor)
print('片长:',time)

作者:DC学院
链接:https://www.jianshu.com/p/b86e46c9478b
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
实际上主演是这么来的

actor1=s.xpath('//*[@id="info"]/span[3]/span[2]/a[1]/text()')  #主演1
actor2=s.xpath('//*[@id="info"]/span[3]/span[2]/a[2]/text()')  #主演2
actor3=s.xpath('//*[@id="info"]/span[3]/span[2]/a[3]/text()')  #主演3
观察上面的代码,发现获取不同的 主演  信息时,区别只在于 a[ ]中的索引不同。实际上,要一次性的获取所有主演的信息时,用不加数字的 a 表示即可。代码如下:

actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')  #主演





你可能感兴趣的:(python)