app小程序手机端Python爬虫实战00-课程导学

课程导学

本次课程我们将会讲解从移动端app数据抓取到数据存储的完整实战流程。通过这门课我们会学习到

课程技术点

1.学会uiautomator2对移动设备进行操控

没有移动真实的手机没有关系，本套课程也可以使用安卓模拟器，通过uiautomator2也可以控制安卓模拟器达到一样的效果，同样可以抓取到app端的数据，我们将会介绍2个实例，滑动九宫格以及登录考研帮app获取考研资讯，来展示如何通过各种定位方式来操控移动端app。
移动设备搭建好了之后，如何才能够获取到app里的数据呢？

2.学会抓包利器的使用

我们会带大家学习抓包利器的使用，满足大家在技术上以及工作上的需求， 通过这些抓包工具，可以抓取到移动端app数据的数据接口

3.学会使用Python编写移动端自动化抓取脚本

有了自动化控制app行为，以及抓包工具解析app数据接口，再结合Python自动化抓取脚本，就可以实现APP数据的抓取了。

掌握的技能

学会了这些技能之后，可以做哪些功能呢？

1.数据分析

我们可以拿到app数据后，对数据进行分析，拿到某汽车app的报价数据，通过对数据分析建模可以对公司现有的汽车业务进行估价。

2.用户画像

可以抓取app数据后，分析用户的数据，比如说消费、需求等。 这对于制定的用户画像，进行广告的精准投放。

3.统计系统

通过抓取到的app数据，可以实现一个统计系统，比如说报表数据可以展现出来，

4.商业竞争

通过抓取竞争对手在app上的投放数据，比如说竞争对手在某一个城市启动了一个产品，可以对这个城市的营销数据趋势分析 ，这样就能知道竞争对手的运营状况，从而制定响应的竞争策略。

学习的收获

1.实现技能提升

如果你之前只会抓取web端的数据，那现在可以来抓取app端的数据了

2.面试必备

当你进行跳槽面试时，爬虫工程师少不了会问到这些问题，比如如何抓取app数据，抓去过哪些应用的数据，多设备app应用数据是如何抓取的，抓包工具是如何进行使用的，抓取到的数据是如何进行分析的，等等。

App数据好抓吗

app端的数据比web相对好抓取一点，反爬虫也没那么厉害，大部分都是http、https协议返回的数据大都为json，直接对json数据进行解析就可以，

需要的技术储备

1.python爬虫开发经验

2.安卓开发基础

课程设计

1.uiautomator2

课程开始，我们会对大家进行环境搭建的讲解，将会讲解uiautomator2移动端自动化框架环境的搭建，介绍uiautomator2包含了哪些模块，如何通过windows环境接通移动设备，如何进行uiautomator2项目的初始化

2.weditor

安装好移动端自动化框架之后，将会讲解如何通过uiautomator2去操控移动设备，通过可视化控件工具weditor去获取app应用控件的属性。这里会讲解各种定位方法，去控制移动端app。这样就可以完全操控移动端app的需求，并且通过uiautomator2进行定位。我们会通过自动滑动九宫格解锁移动设备和自动化登录考研帮app来实战讲解整个过程。

3.抓包工具

我们会讲解web端抓包工具fiddler， 它不仅可以抓网页端的包，还可以抓app端的包，我们还会讲解第二款抓包工具，mutmproxy,可以通过这个抓包工具进行数据的抓取分析，最重要的是这款工具可以和Python脚本进行交互，从而能够将数据获取到并用Python进行处理。

4.实战抓取抖音app

用了自动化控制app应用的行为，以及通过抓包工具解析抓取到的数据，结合Python爬虫脚本，就可以非常完善的实现数据获取的功能了。
接下来，我们会通过uiautomator2,模拟滑动端视频，我们就可以抓取到诸如用户名称，头像，昵称，企业数据，个性签名，背景音乐名称，背景音乐下载地址，视频所在地， 视频url，抖音ip，评论数，下载数量，转发数，分享数，视频下载地址等等的数据。

5.多设备同步抓取

我们会讲解多进程的方式，支持多台设备同时抓取数据

课程特点

1.循序渐进，由浅入深

每一步都会进行详细的讲解

2.趟雷式教学

每一个安装步骤使用步骤遇到的坑都会给大家讲解

3.多工具对比

从课程设计中，我们选取多宽工具进行对比讲解

4.多实例展示

我们会抓取多个应用的数据

5.紧贴技术的潮流

这个技术永远都不会过时