打卡：1-4动态加载网页的爬取~

虽然老师给的网址打不开，但是我找到了另一个动态加载的图片网站：
堆糖小朋友，一个美腻的图片库：

堆糖

点击查看更多，就会进入有动态加载的部分

动态加载部分

————————我们的目标是：把这里的图片下载到本地！————————

先上爬取结果

文件夹

源代码

from urllib.request import urlretrieve
from bs4 import BeautifulSoup
import time
import requests

def get_url(path,i):
    respond = requests.get(path)
    json_data = respond.json()
    object_list = json_data['data']['object_list']
    images = []
    for object in object_list:
        i = i + 1
        img = object['photo']['path']
        images.append(img)
        time.sleep(2)
        name ='C:/Users/Administrator/PycharmProjects/untitled/new/'+str(i)+'.jpg'
        urlretrieve(img,name)
        print(i, ' ', img)

paths = ['http://www.duitang.com/napi/index/hot/?include_fields=top_comments%2Cis_root%2Csource_link%2Citem%2Cbuyable%2Croot_id%2Cstatus%2Clike_count%2Csender%2Calbum&limit=24&start={}&_=146919911974{}'.format(i,j) for i,j in zip(range(24,73,24),range (1,4))]

i1 = 0
for path in paths:
    time.sleep(2)
    get_url(path,i1)
    i1 = i1 + 24

好像也没有很长

详细笔记

• 动态加载的网址在这里查找，多复制几个查看规律

网址查找

• 在这里，我们的网址有两个变量，所以format也有两个变量，要实现二者的同步增长，我用了zip来控制两个列表

paths = ['http://www.duitang.com/napi/index/hot/?include_fields=top_comments%2Cis_root%2Csource_link%2Citem%2Cbuyable%2Croot_id%2Cstatus%2Clike_count%2Csender%2Calbum&limit=24&start={}&_=146919911974{}'.format(i,j) for i,j in zip(range(24,73,24),range (1,4))]

• 然后我们发现，一直以为用的BeautifulSoup无法正确解析网页，select和find_all都只输出空列表。这就很着急了，然后我去请教了老师，发现该url得到的并非html文件，而是json
  （用print(respond.headers[''Content-Type'']）查看获得文件）
• json文件无法用BeautifulSoup解析，直接.json（）即解析完毕。
• 然后过滤选择某一标签/属性的内容，需要用[]来进行选择

json_data = respond.json()
object_list = json_data['data']['object_list']

• 同时要小心返回文件中很多列表，不能直接用[]，会有错误提示，需要用for循环去分离里面的属性
• 下载图片用的是urllib库，用法如下

from urllib.request import urlretrieve
img = '图片网址'
name = '保存路径/文件名.jpg'
urlretrieve(img,name)

• That's all~Thank you
  (后来问同学，发现另一种得到图片地址的方法，等我测试过再说)