python爬取彼岸图网图片，涉及知识点：requests,xpath,urllib,文件下载后保存，if__name__的用法

网页源码：

 




	

		首页
		

最新
  
 分类
    
4K新年4K游戏4K动漫4K美女4K风景4K影视4K汽车4K动物4K背景平板壁纸4K独家4K手机壁纸
  
  
尺寸
 4K壁纸3840x2160壁纸带鱼屏壁纸3440x1440壁纸5K壁纸5120x2880壁纸8K壁纸7680x4320壁纸平板壁纸5120x1440壁纸4k手机壁纸彼岸手机壁纸
  
4K动漫
  
带鱼屏
  
1元会员


    

      

      
    
   




声明：注意！目前出现很多复制站，有的连域名都极其相似。本站未发展新站，须细心留意辨别。同时，在这里感谢大家的支持！

	

    	


    
    

    
    
 4K新年4K游戏4K动漫4K美女4K风景4K影视4K汽车4K动物4K背景平板壁纸4K独家4K手机壁纸
	

    	

        
古风动漫美女 剑 女侠 4k壁纸
游泳池 漂亮可爱美女 泳装 4K动漫壁纸图片
以闪亮之名 美少女 4k游戏壁纸
《赛博朋克2077》4k游戏壁纸图片
古风美女长发 头饰 花 4k壁纸
冬季 雪暮降临 街道 树 汽车 灯光 动漫风景4K壁纸
插图 艺术 超宽 女孩 栏杆 5k动漫壁纸
下午 趴在桌子的女孩4k动漫壁纸3840x2160
幽径空巷4K动漫壁纸
Cyberpunk 2077 2024 赛博朋克5k壁纸
古风新娘红色衣服 武术 功夫美女 4k动漫壁纸
报纸 墙 粉红蓝色长头发少女4k动漫壁纸
城市街道动漫女孩 摩托车 赛博朋克风格 4k壁纸
吹泡泡的女孩坐在小巷台阶上 苔藓 小花 4k动漫壁纸
紫色长卷发大波浪美女 报纸 4k动漫壁纸
解限机 Mecha Break 4k游戏壁纸
宣纸国画 紫罗兰永恒花园 赛博color 4k壁纸
金克丝 英雄联盟LOL 4k游戏壁纸
完美世界 清漪 同人美女4k电脑壁纸
原创 2024诸事顺遂4k壁纸
    	
    
    	
12345678910…1051下一页>
    
	
	
友情链接/广告位投放QQ:55346968
4k壁纸壁纸电脑壁纸2024年1月日历桌面壁纸4k桌面壁纸4k图片素材 图品汇素材觅知网高清图片Win10之家享设计微元素虎课网视达网123网址之家H5页面PPT模板当图网PPT模板素材库mtv歌曲爱发表觅元素ppt模板变色龙PPTpppt模板十二星座排名图行天下在线图片制作高清图片图片压缩主题在线ps大作win7旗舰版视频素材头像图片天气预报动漫壁纸设计之窗包图网图片素材千库编辑 


彼岸图网为用户免费分享产生,请勿用于商业用途,如有侵权问题请及时联系我们,我们会尽快处理。客服QQ:55346968 （工作时间：9:00-23:00）
Copyright 2016-2024 彼岸图网 闽ICP备13013111号-1 高清壁纸 帮助 壁纸投稿


 


客服
在线客服
工作时间(9:00-23:00)
常见问题>>
电话
服务热线
13605998361
工作时间(9:00-23:00)

                    QQ群
QQ群
                    
QQ群4（20379343）推荐3
                    
QQ群3（223739596）推荐2
                    
QQ群2（864686752）推荐1
                    
QQ群1（427389122）热门
                    
更多
                    
                

顶部

python代码：

# 保存文件库
import os.path
import random
import time

import requests
from lxml import etree
from urllib import request as req

url = 'http://pic.netbian.com/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
}
response = requests.get(url, headers=headers)
response.encoding = 'GBK'
# print(response.text)
tree = etree.HTML(response.text)
# 获取到了当前所有的图片的li
li = tree.xpath('//ul[@class="clearfix"]/li')
for i in li:
    # 获去图片url
    href = i.xpath('./a//img/@src')
    # 拼凑完整url
    image_url = 'http://pic.netbian.com' + href[0]
    # 获取文件名
    image_name = i.xpath('./a/b/text()')[0]
    # print(image_url)
    # 定义文件路径
    path = './img'
    # 如果当前路径不存在 则创建
    if not os.path.exists(path):    
        # 创建路径
        os.mkdir(path)
    # 下载链接和图片保存的位置
    req.urlretrieve(image_url, os.path.join(path, image_name+'.jpg'))
    print(image_name)
    # # 等待间隔时间
    time.sleep(random.randint(1,3))
# 1 练习 抓取多页
# 2 练习 抓取详情页的大图
# 3 练习 抓取多页 详情页的大图

运行结果：

 添加if__name__后的写法：

import os.path
import random
import time
import requests
from lxml import etree
from urllib import request as req

def main(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
    }
    response = requests.get(url, headers=headers)
    response.encoding = 'GBK'
    # print(response.text)
    tree = etree.HTML(response.text)
    # 获取到了当前所有的图片的li
    li = tree.xpath('//ul[@class="clearfix"]/li')
    for i in li:
        # 后去图片url
        href = i.xpath('./a//img/@src')
        # 拼凑完整url
        image_url = 'http://pic.netbian.com' + href[0]
        image_name = i.xpath('./a/b/text()')[0]
        # print(image_url)
        path = './img'
        # 如果当前路径不存在 则创建
        if not os.path.exists(path):
            os.mkdir(path)
        req.urlretrieve(image_url, os.path.join(path, image_name+'.jpg'))
        print(image_name)
        time.sleep(random.randint(1,3))

if __name__ == '__main__':
    url = 'http://pic.netbian.com/'
    main(url)
# 1 练习 抓取多页
# 2 练习 抓取详情页的大图
# 3 练习 抓取多页 详情页的大图