dy数据分析(X-Gorgon及加密算法,含源码)

最近在做一些抖音相关的工作,主要是学习上的,老师要求的,做一些数据分析,但是抖音的爬虫是太难了,反编译之后一层层的加密,忙活了好几个月,再加上各方求助,总算可以获取到其数据进行分析了。

数据获取及分析

抖音的安卓和苹果是两套不同的系统,随着抖音的升级,甚至抓包都成了一件困难的事情,之前用模拟器刷机之后用Xposed+Just Trust Me模块可以解决SSL Pining的问题,但是现在似乎也不行了,但是办法总是有的嘛!用低版本的抖音就可以了。解决了抓包,就可以解决初步的问题了。

首先,我想获得一些用户作品啊、粉丝啊、个人信息等信息(不包括隐私数据)来做一些有意思的研究,比如假粉的判别,粉丝数的判重,如何计算用户视频的预计播放量等等等等。但是前提要有数据,但是实际上抖音对大多数字段都不怎么校验,只要你的url和请求体(post请求)然后会给你返回一个X-gorgan的加密字段和时间戳,然后将这个加密字段加入headers,再次发送请求就可以得到你想要的数据了。
在这里插入图片描述
返回的都是json,得到之后很好解析,也便于进行数据分析。我便将这些数据入库。
dy数据分析(X-Gorgon及加密算法,含源码)_第1张图片
dy数据分析(X-Gorgon及加密算法,含源码)_第2张图片

你可能感兴趣的:(抖音研究)