如何用python爬取抖音视频列表

导语

如果看到特别感兴趣的抖音vlogger的视频，想全部dump下来，如何操作呢？下面介绍介绍如何使用python导出特定用户所有视频信息

抓包分析

Chrome Deveploer Tools Chrome 浏览器开发者工具

在抖音APP端，复制vlogger主页地址， 比如：http://v.douyin.com/kGcU4y/， 在PC端用chrome浏览器打卡，并模拟手机，这里选择iPhone， 然后把复制的主页地址，放到浏览器进行访问，页面跳转到https://www.iesdouyin.com/share/user/110677980134

下拉主页， 选择Network=>XHR 选项卡， 看到类似请求

:authority: www.iesdouyin.com

:method: GET

:path: /web/api/v2/aweme/post/?user_id=110677980134&sec_uid=&count=21&max_cursor=1561112910000&aid=1128&_signature=3Xf-nxAQgGfUO4SKisB.Ld13.o&dytk=061ae6e81229e178146aa674327eba89

:scheme: https

accept: application/json

accept-encoding: gzip, deflate, br

accept-language: zh-CN,zh;q=0.9,en;q=0.8,ja;q=0.7,zh-TW;q=0.6,da;q=0.5

cookie: tt_webid=6690145457198417412; _ga=GA1.2.605400954.1557670882; _ba=BA0.2-20181226-5199e-GIJXgXk9ajNkyFhmv7Wy; _gid=GA1.2.1914501522.1562857517

referer: https://www.iesdouyin.com/share/user/110677980134

user-agent: Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1

x-requested-with: XMLHttpRequest

返回数据截图

通过分析ajax请求的URLhttps://www.iesdouyin.com/web/api/v2/aweme/post/?user_id=110677980134&sec_uid=&count=21&max_cursor=1559299764000&aid=1128&_signature=3Xf-nxAQgGfUO4SKisB.Ld13.o&dytk=061ae6e81229e178146aa674327eba89得出请求参数主要包含：

参数的获取方法：

user_id 通过访问主页地址，重定向之后的URL地址(https://www.iesdouyin.com/share/user/110677980134)上可以获取 user_id

dytk 在主页的网页源码中包含此参数，网页源码片段

通过正则获取到此参数

_signature 获取比较复杂，抖音对前端的js代码进行了混淆压缩，不易直接分析出算法过程，不过可以执行签名算法代码，并返回对应的签名结果。

执行js代码的可以使用nodejs或者selenium webdriver，这里推荐使用selenium webdriver ， nodejs的js执行环境与浏览器有区别，计算出的签名结果，并不能通过验证，selenium webdriver 可以调用本地浏览器，计算出的签名可以跟浏览器直接访问访问计算出的签名一致。

格式化之后的js代码， 执行js方法_bytedAcrawler.sign("110677980134")对参数进行签名

代码实现导出主页视频列表

获取的视频列表信息

获取视频信息代码片段

下载视频代码片段

下载视频