经常有需求说需要爬取某某网站的某些数据，因为python的包最多的，首先尝试使用python爬~便有了本文
有了python爬网页爬图这项技能，不光能爬数据，爬图，，，嗯~
建议大家在法律范围内做爬虫，毕竟命令是领导下的，锅却要我们来背~
python基本配置
安装pip
通过pip我们可以很方便的通过包名安装其他的python包。在Python 2 >=2.7.9 or Python 3 >=3.4 中已经内置了pip。可以使用如下命令查看是否已安装pip。
python -m pip --version
# output: pip 18.0 from C:\Users\lenovo\AppData\Local\Programs\Python\Python36\lib\site-packages\pip (python 3.6)
如果没有，可以通过下载get-pip.py，并运行如下命令安装：
python get-pip.py
我们可以使用pip安装其他包，如下文需要使用的BeautifulSoup需要我们安装bs4
pip3 install bs4
爬虫常用包
requests
requests是一个处理URL资源很方便的包。
import requests
r = requests.get('https://juejin.cn')
print(r)
print(r.status_code)
print(r.text)
输出结果：
200
soup = BeautifulSoup("data")
# 浏览数据的方式
soup.title
#
soup.title.name
# u'title'
soup.title.string
# u'The Dormouse's story'
soup.title.parent.name
# u'head'
soup.p
#
The Dormouse's story
soup.p['class']
# u'title'
soup.a
# Elsie
soup.find_all('a')
# [Elsie,
# Lacie,
# Tillie]
soup.find(id="link3")
# Tillie
open函数文件下载
open是python的内置函数，用于打开一个文件，并返回文件对象。常用参数为file与mode，完整参数如下：
open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)
"""
参数说明:
file: 必需，文件路径（相对或者绝对路径）。
mode: 可选，文件打开模式:
buffering: 设置缓冲
encoding: 一般使用utf8
errors: 报错级别
newline: 区分换行符
closefd: 传入的file参数类型
opener:
"""
开启爬图之路
爬图链接：www.easyapi.com/xxx
这个链接的特点是：
简单，只有一张图片
链接不变，但刷新后图片变化
网页HTML代码与页面展示如图：
我们取其中的重要源码查看：
...
....
刷新页面，会发现img的src路径在编号，但title不变。
因此，我们可以通过来获取这个标签以及src
获取html内容
使用requests获取html内容：
headers = {'referer': 'https://www.easyapi.com/xxx', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0'}
htmltxt = requests.get(res_url, headers=headers).text
查找html中的图片链接
html = BeautifulSoup(htmltxt)
for link in html.find_all('img', {'title': '欣赏美女'}):
# print(link.get('src'))
srcLink = link.get('src')
下载图片
# 'wb'表示以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。一般用于非文本文件如图片等。
with open('./pic/' + os.path.basename(srcLink), 'wb') as file:
file.write(requests.get(srcLink).content)
完整代码
网页图片是随机的，因此我们循环请求1000次，获取并下载图片。完整代码：
import requests
from bs4 import BeautifulSoup
import os
index = 0
headers = {'referer': 'https://www.easyapi.com/xxx/service', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0'}
# 保存图片
def save_jpg(res_url):
global index
html = BeautifulSoup(requests.get(res_url, headers=headers).text)
for link in html.find_all('img', {'title': '欣赏美女'}):
print('./pic/' + os.path.basename(link.get('src')))
with open('./pic/' + os.path.basename(link.get('src')), 'wb') as jpg:
jpg.write(requests.get(link.get('src')).content)
print("正在抓取第"+str(index)+"条数据")
index += 1
if __name__ == '__main__':
url = 'https://www.easyapi.com/xxx/service'
# 其实不需要循环到1000，通过打印链接可以发现，图片名称地址为 xxx/girl(number).jpg，优化方向可以舍弃获取html再获取图片链接
for i in range(0, 1000):
save_jpg(url)
运行效果：
有了这项技能，你不光能爬图片~~
如果觉得文章对你有帮助,麻烦 点赞、评论、收藏 你的支持是我最大的动力！！！
最后小编在学习过程中整理了一些学习资料，可以分享给做软件测试工程师的朋友们，相互交流学习，需要的可以加入我的学习交流群323432957 或加微dingyu-002即可免费获取Python自动化测开及Java自动化测开学习资料（里面有功能测试、性能测试、python自动化、java自动化、测试开发、接口测试、APP测试等多个知识点的架构资料）