Python爬虫-今日头条街拍图片爬取下载

GitHub

今日头条搜索 F12 找到相应的js

用此链接 requests 获取相应的html 嫌长可以urlencode(data)进行构造拼接

拼接的data数据

json格式转化后 获取文章url

获取文章url 继续requests.get 进而找到图片的地址 写在源码里 正则匹配获取

有三点要注意 :

    1.匹配图片正则的时候 源码中有() 正则表达式要对括号进行转义 即加\ 否则无法匹配

    2.图片的源码都带上了转义符"\"  导致json.loads()失败  亲测json.loads()两次即可变成转换成功

    3.获取的源码写的是content二进制 没有写成text文本 所以在写正则表达式的时候前面要加上b“巴拉巴拉”

    Github

你可能感兴趣的:(Python爬虫-今日头条街拍图片爬取下载)