抖音uid用户信息采集爬取案例

第一次发帖混脸熟，一前好几个号都没玩被清除了，最近在学习python爬虫，想采集爬取抖音用户信息，因为看到相关爬虫岗位有这个需求，突发奇想，分享一下经验，顺便整理自己的思路。首先是看到b站不二小段的爬虫视频，头脑王者的外挂，通过修改fidder函数把头脑王者的json数据包保存本地，用python脚本循环读取数据包，然后自动打开浏览器搜索题目。现在我就想把这个思路扩展一下到抖音这里来。    首先安装最新的fidder,抖音用户的数据包传输协议是https。需要下载fidder的证书，安装到手机或者安卓模拟器。我用的模拟器，然后设置安卓的模拟器的代{过}{滤}理IP设置为电脑的IP，现在模拟器所有的网络请求都被fidder获取了，现在我们就是要抓取数据包，分析数据包，推荐一个分析json包的网址，能把很复杂难懂的数据节展现的很清晰，在模拟器刷抖音的时候json数据包，我就一个个的把它复制出来看下，网址在图片中

fidder函数的保存到本地的数据只能覆盖，不能添加，所以只能用脚本循环读取了，所以用python写个脚本吧，把读出来的数据解析一下，保存到本地数据库。
现在就差最后一步写一个模拟人工划抖音的脚本了，既然用模拟器的话，想要多开几个，数据就会保存的更快那就用最小的分辨率写一个吧 320*480的分辨率，节约资源，抓取用户的信息要进入个人主页。思路是在抖音里面往上划，识别是不是广告或者直播，是广告再往下话，不是点头像，延时返回，然后循环。打包成apk安装到模拟器实机测试！速度还不错。还要继续优化脚本，设置清除缓存的功能才好，缓存太多了就会很卡。