抖音短视频数据抓取实战系列(一)——模拟器的选择与设置

抖音短视频数据抓取实战系列(一)——模拟器的选择与设置

项目目录
1、抖音短视频数据抓取实战系列(〇)——前言
2、抖音短视频数据抓取实战系列(一)——模拟器的选择与设置
3、抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置
4、抖音短视频数据抓取实战系列(三)——Fiddler抓取抖音用户详细信息数据
5、抖音短视频数据抓取实战系列(四)——Java解析Json文件数据并存库
6、抖音短视频数据抓取实战系列(五)——Mitmproxy的安装以及模拟器Mitmproxy证书安装
7、抖音短视频数据抓取实战系列(六)——Mitmproxy+python编写监测程序
8、抖音短视频数据抓取实战系列(七)——python连接MySQL数据库
9、抖音短视频数据抓取实战系列(八)——Mitmproxy抓取用户详细信息并入库
10、抖音短视频数据抓取实战系列(九)——自动化Appium的环境与参数配置
11、抖音短视频数据抓取实战系列(十)——获取抖音dom元素属性
12、抖音短视频数据抓取实战系列(十一)——Appium与Mitmproxy联合-自动取存抖音用户信息
13、抖音短视频数据抓取实战系列(十二)——抓取实战BUG总集


1、首先我们选择下载一个模拟器在进行数据爬取,博主推荐,夜神模拟器,雷电模拟器和逍遥模拟器三款模拟器,博主比较喜欢雷电模拟器,之后的操作都在雷电上运行的。
夜神模拟器:https://www.yeshen.com/

雷电模拟器:https://www.ldmnq.com/

逍遥模拟器:http://www.xyaz.cn/



2、模拟器安装完成之后,我们就可以开始app的安装和环境的建档配置了。
这是雷电模拟器原始界面,博主用的是3.107版本



3、安装“抖音短视频”和“Xposed框架”两款app,抖音不做特殊说明,Xposed框架是为了让抖音正常播放所必需的。



4、安装Xposed框架并激活生效,以下是安装步骤,安装完成之后它会提示需要重启模拟器才能激活,我们暂时先不激活,后一步网络模式配置也需要重启生效,两个操作一起进行。
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第1张图片
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第2张图片
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第3张图片
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第4张图片


5、将网络模式设置成桥接模式,之后的数据监测在桥接模式下才可以检测到,
设置>>网络设置>>点击安装驱动支持>>保存设置,这样我们可以连同xposed框一起激活生效。
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第5张图片
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第6张图片
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第7张图片
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第8张图片


6、重启模拟器。
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第9张图片
抖音短视频数据抓取实战系列(一)——模拟器的选择与设置_第10张图片
模拟器重启之后,如果是如上显示则表示你的模拟器简单设置已经完成了。


项目目录
1、抖音短视频数据抓取实战系列(〇)——前言
2、抖音短视频数据抓取实战系列(一)——模拟器的选择与设置
3、抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置
4、抖音短视频数据抓取实战系列(三)——Fiddler抓取抖音用户详细信息数据
5、抖音短视频数据抓取实战系列(四)——Java解析Json文件数据并存库
6、抖音短视频数据抓取实战系列(五)——Mitmproxy的安装以及模拟器Mitmproxy证书安装
7、抖音短视频数据抓取实战系列(六)——Mitmproxy+python编写监测程序
8、抖音短视频数据抓取实战系列(七)——python连接MySQL数据库
9、抖音短视频数据抓取实战系列(八)——Mitmproxy抓取用户详细信息并入库
10、抖音短视频数据抓取实战系列(九)——自动化Appium的环境与参数配置
11、抖音短视频数据抓取实战系列(十)——获取抖音dom元素属性
12、抖音短视频数据抓取实战系列(十一)——Appium与Mitmproxy联合-自动取存抖音用户信息
13、抖音短视频数据抓取实战系列(十二)——抓取实战BUG总集

你可能感兴趣的:(自动化,数据抓取,java,python,数据库,爬虫)