方法教程 | Python爬虫:爬取美女图片,看到了意想不到的场景美女图片

    python练手项目——爬取网页美女图片

    1.下载数据

    动态网页

    下载数据的模块

    2.解析数据

    正则表达式说明

    3.保存数据

    1.下载数据

    首先打开要爬的网站,分析URL,每打开一个网页看URL有什么变化,有可能带上上个网页的某个数据,例如xxID之类,那么我们就需要在上一个页面分析HTML,找到对应的数据。如果网页源码找不到,可能是ajax异步加载,去xhr里去找。

方法教程 | Python爬虫:爬取美女图片,看到了意想不到的场景美女图片_第1张图片

    有的网站做了反爬的处理,可以添加User-Agent :判断浏览器


self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
# 初始化 headers
self.headers = {'User-Agent': self.user_agent}

 

    如果不行,在Chrome上按F12分析请求头、请求体,看需不需要添加别的信息,例如有的网址添加了referer当前网页的来源,那么我们在请求的时候就可以带上。按Ctrl + Shift + C,可以定位元素在HTML上的位置

    动态网页

    有一些网页是动态网页,我们得到网页的时候,数据还没请求到呢,当然什么都提

你可能感兴趣的:(python,爬虫,正则表达式)