python爬取网站万张美女、风景..等图片

  这是该站主页 https://pic.netbian.com/

不要从csdn这个网页进入该站,已经被禁止了,谷歌已被封禁换个浏览器可以

首先右键主页空白处

 然后点击鼠标点击的位置 

 下面代码运行效果,按住ctrl c即可停止下载

 下面是代码内容和解析

"""请求网页"""
import requests
import re
import time
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0'
}
for page in range(1, 11):
    url = f'https://pic.netbian.com/4kmeinv/index_{page}.html'
    response = requests.get(url, headers=header)
    html = response.text

    """解析网页"""
    urls = re.findall('target="_blank">

首先,导入requestsre模块。然后设置请求头header,模拟浏览器访问。接下来使用循环遍历1到10的页数,构造每一页的URL。发送GET请求获取网页内容,保存在变量html中。

接下来是解析网页的部分。使用正则表达式re.findall匹配图片的URL,并保存在列表urls中。然后对每个URL进行处理,加上网站的域名。接着是获取图片的文件名,并使用requests.get请求图片的URL。最后,使用open函数以二进制写入模式打开文件,将图片内容写入文件中。

在循环内部,使用time.sleep函数暂停1秒,避免过快爬取导致封IP。最后输出爬取完成的提示信息。

这段代码解析只是展示了爬取网页和图片的基本思路,实际使用时可能需要进行异常处理、页面跳转等操作。

直接复制就可运行

如果想换类型图片可到网站换类型将网址复制到url中即可,页数也可以更改

如有什么问题可以互动我看到会回复大家问题,作者不易给个点赞关注

希望大家不要一直爬取,这个小站也是需要维护的,会浪费掉该站的很多资源,对该站造成损失,希望大家理解。

你可能感兴趣的:(python爬虫,python,开发语言,pycharm,美女,风景)