小红书数据采集教程，从0到1 APP采集，Airtest

一、前言：

小红书的爬虫主要是从搜索入手，爬取某个关键词下的所有笔记，通过调研发现有有两个渠道，第一个是 App，第二个小程序。先说小程序端，通过抓包发现，每篇文章对应着一个 auth-sign ，这个参数应该有小程序内部生成，无法获取到，有种思路就是可以通过按键精灵或者 Mitmproxy 获取到每篇笔记的 auth-sign ，然后就可以通过接口去爬，这中间还需要一个自动化控制手机工具；再来说 App 端，需要有好几个加密参数 sign\token\shield，之前git上面还有大神维护着一个服务器可以破解签名，现在已经失效了，App 逆向暂时还没学（已提上日程），所以还是用手机端的自动化测试工具来爬，主要软件有Appium和Airtest，Appium 坑比较大，不仅安装麻烦而且调试时极不方便，再者获取不到小红书笔记的详情页的页面结构，本文主要讲下使用 Airtest + Mitmproxy 进行手机端的爬虫，这两者加起来，可以解决90%的 App 爬虫吧，除了淘宝...但可以用Pypeteer。

二 、Airtest

Airtest 是一个跨平台的、 基于图像识别 的UI自动化测试框架，适用于游戏和App，支持平台有Windows、Android 和 IOS，主要编写语言为 python。官网 -> 点我， 官方文档 ->[ [点我]](http://airtest.netease.com/do... ，基本使用可以看下青南大佬的blog ->[ [点我]](https://www.kingname.info/201...


Airtest与Appium相比最大的优点是可以实时的看到页面的动态，而且支持图像识别进行点击等操作

三、使用Airtest自动化控制App

前期的使用可以在Airtest自带的IDE中调试，毕竟边操作边看到界面是非常方便地，等成熟之后搬到pycharm中执行再考虑作定时任务等

四、Airtest基本[Api]使用：

1. 获取元素：

   • ls = poco(name="com.xingin.xhs:id/aj8") 通过name获取
     
   • ls = poco(text=item.get_text()) 通过text
     
   • poco("android.widget.LinearLayout").offspring("com.xingin.xhs:id/ak6") 通过目录树
     
2. 点击元素： x.click()
   
3. 获取文本： x.get_text()
   
4. 滑动屏幕： swipe([0.5, 0.8], [0.5, 0.7]) 从一个点到另一个点
   
5. 是否存在： x.exist()
   
6. 安卓ADB操作：

from airtest.core.android.adb import ADB
adb = ADB(serialno='OF9SBMY59D69756L')
​
# 原始 adb shell 命令为 adb shell input keyevent 26
adb.start_shell('input keyevent 26') # 唤醒屏幕
​
# 启动app app包名
adb.start_shell('am start -n com.xingin.xhs/.activity.SplashActivity') 
# 获取app包名
aapt dump badging C:\Users\xx\Desktop\xiaohongshu.apk
# launchable-activity: name='com.xingin.xhs.activity.SplashActivity'  
其他 API

踩的一些坑

• 官方的问题示例 能解决大部分问题 [[点我]](http://airtest.netease.com/do...
  
• Airtest与pycharm中执行脚本互斥 不能同时开
  
• 点击时可能会有两种BUG出现，第一是点击无反应，只能作容错处理；第二是点击内容在屏幕之外，这时需要上滑屏幕，然后再做点击
  

五、Mitmproxy

mitmproxy是一个支持HTTP和HTTPS的抓包程序，类似Fiddler、Charles的功能，只不过它通过控制台的形式操作；使用 mitmproxy 最主要是使用它的一个组件 mitmdump ，它可以通过python脚本处理响应内容，类似于Fiddler的界面抓包，但是我们可以更加方便地拿到响应数据

1. 安装 -> 点我
   
2. 使用：

mitmdump -s mitm.py   # 手机连接电脑ip：8080

# 拦截某个链接
if flow.request.url.startswith(detail_url):
    text = flow.response.text # 获取链接的响应

• 需注意每个链接都会经过这个方法
  

六、小红书

主要逻辑：

1. 进入App：

   • 唤醒屏幕 adb.start_shell('input keyevent 26')
     
   • 解锁
     
   • 启动APPadb.start_shell('am start -n com.xingin.xhs/.activity.SplashActivity')
     
2. 启动mitmproxy mitmdump -s mitm.py
   

3. 模拟操作：

   • 获取当前界面列表页的所有商品，点击进入，mitm会捕获目标链接，在mitm.py处理数据
     

   • 点击返回有三种方法：

     • 通过页面返回按钮，实测按钮会点击无反应；
       
     • 通过Airtest的touch图像识别方法，需将图片放入同一路径下；
       
     • 点击手机返回键，推荐！ adb.start_shell('input keyevent 4')
       
4. 入库
   
5. 退出程序，锁屏
   
6. 补充：代码不多，主要是模拟人操作，然后加上容错判断，比如

if poco(name="com.xingin.xhs:id/aon").exists()             poco.wait_for_any(poco(name="com.xingin.xhs:id/al0"))

TiToData：专业的短视频、直播数据接口服务平台，网址： TiToData

覆盖主流平台：抖音，快手，小红书，TikTok，YouTube