python小项目二

7-23

抓取今日头条街拍美图

1.ajax请求
2.mangodb数据库
3.创建文件夹下载图片

ajax请求

先分析网站的源码
检查——network——勾选preserve log——刷新页面 但是还是找不到想要的
XHR 查看 说明网页是动态变化，offset变化显示页面内容，data是json数据
接着就是解析详情页面，并提取title, 和图片url, 详情页代码数据在network——Doc中查看, 注意提取的是组图，非组图被过滤了.url_list 是指三个地址都是图片的地址，我们只要有一个原始的url就可以了。
发现图集的url都在键的键值中

mangodb

首先需要创建一个数据库，建立配置文件config.py
然后存储数据

创建文件夹下载图片

利用pathlib库根据传入的目录名创建一个文件目录

具体代码机内容参照https://blog.csdn.net/choven_meng/article/details/78581936