闲鱼APP爬虫
写在前面：实现闲鱼APP的特定关键字商品检索
实现思路：首先想到使用此前用到的appium驱动app实现数据获取和订单生成，而后通过app抓包分析获取接口
1.appium实现
首先是搭建环境，此前进行工作时，搭建过环境，积累了一定经验，现总结如下
1.1前言知识
参考链接：http://www.testclass.net/appium/appium-base-summary/
appium 是一个自动化测试开源工具，支持 iOS 平台和 Android 平台上的原生应用，web应用和混合应用。
-
“移动原生应用”是指那些用iOS或者 Android SDK 写的应用（Application简称app）。
-
“移动web应用”是指使用移动浏览器访问的应用（appium支持iOS上的Safari和Android上的 Chrome）。
-
“混合应用”是指原生代码封装网页视图——原生代码和 web 内容交互。比如，像 Phonegap，可以帮助开发者使用网页技术开发应用，然后用原生代码封装，这些就是混合应用。
重要的是，appium是一个跨平台的工具：它允许测试人员在不同的平台（iOS，Android）使用同一套API来写自动化测试脚本，这样大大增加了iOS和Android测试套件间代码的复用性。
appium类库封装了标准Selenium客户端类库，为用户提供所有常见的JSON格式selenium命令以及额外的移动设备控制相关的命令，如多点触控手势和屏幕朝向。
appium客户端类库实现了Mobile JSON Wire Protocol（一个标准协议的官方扩展草稿）和W3C WebDriver spec（一个传输不可预知的自动化协议，该协议定义了MultiAction 接口）的元素。
appium服务端定义了官方协议的扩展，为appium 用户提供了方便的接口来执行各种设备动作，例如在测试过程中安装/卸载App。这就是为什么我们需要appium特定的客户端，而不是通用的Selenium 客户端。当然，appium 客户端类库只是增加了一些功能，而实际上这些功能就是简单的扩展了Selenium 客户端，所以他们仍然可以用来运行通用的Selenium会话。
1.2环境配置
1）安装Node.js，直接下载安装即可因为appium是基于node.js实现的，需要提前安装
下载链接如下：https://nodejs.org/zh-cn/
通过node -v 查看版本，确定是否安装成功
2）安装JDK，及配置环境变量
JDK为java开发环境，网上教程较多，可以参考如下链接：
https://blog.csdn.net/qq_38125058/article/details/82890856
3）安装SDK，及配置环境变量
SDK时andriod开发的工具包，是安卓开发必备的，在appium测试中需要使用其中的一些资源程序，并配置环境变量以便调用
参考文章：https://zhuanlan.zhihu.com/p/49193525
下载链接：https://www.androiddevtools.cn/
下载界面如下：
注意下载后打开SDK Mansger.exe并安装资源库，注意安装与android版本一致的API
而后配置ANDROID_HOME环境变量为android-sdk文件夹
并添加
%ANDROID_HOME%\tools
%ANDROID_HOME%\platform-tools
输入adb version测试
4）安装Appium桌面版本
下载链接：http://appium.io/
最新版appium没有appium-doctor程序进行检查，可以通过nodejs下载，进行检查是否配置成功
1.3开始测试
使用python进行测试，首选需要安装python的appium-python-client库
首先打开雷电模拟器，使用adb devices查看是否连接成功
成功后，启动appium，运行python程序
# 导入webdriver
from appium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# 初始化参数
desired_caps = {
'platformName': 'Android', # 被测手机是安卓
'platformVersion': '5.1.1', # 手机安卓版本
'deviceName': 'emulator-5554', # 设备名，安卓手机可以随意填写
'appPackage': 'com.taobao.idlefish', # 启动APP Package名称
'appActivity': 'com.taobao.fleamarket.home.activity.MainActivity', # 启动Activity名称
'noReset': True, # 不要重置App，如果为False的话，执行完脚本后，app的数据会清空，比如你原本登录了，执行完脚本后就退出登录了
}
# 连接Appium Server，初始化自动化环境
driver = webdriver.Remote('http://localhost:4723/wd/hub', desired_caps)
wait = WebDriverWait(driver, 30)
search_entry = wait.until(EC.presence_of_element_located((By.ID, 'com.taobao.idlefish:id/search_bar_layout')))
search_entry.click()
search_name = wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'android.widget.EditText')))
search_name.set_text('redmik30')
search_button = wait.until(EC.presence_of_element_located((By.XPATH, "//*[@text='搜索']")))
search_button.click()
wait.until(EC.presence_of_element_located((By.CLASS_NAME, "android.widget.ScrollView")))
# time.sleep(10)
while True:
driver.swipe(500, 1900, 500, 300, 300)
items = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//*[@class='android.widget.ScrollView']/android.view.View")))
for item in items:
print(item)由于前期没有android基础，对于desired_caps参数不了解，走了很多弯路
appPackage和appActivity通过adb命令可查看
通过命令:adb shell dumpsys window w |findstr \/ |findstr name=查看相关属性
2.APP抓包分析
2.1使用代理抓包
通过fildder代理抓包，开始fildder后，在雷电模拟器设置系统代理
经测试浏览器流量成功被代理、但app流量代理失效
经过查阅资料治app自动忽略系统代理，通过下载全局代理软件proxyDroid实现全局代理，进而绕过
下载链接如下：https://download.csdn.net/download/weixin_43906500/16634072
成功获取数据包
2.2分析接口
查看请求，发现闲鱼搜索请求参数存在加密，难以分析，如果要进行后续分析需要学习安卓逆向知识，进行源码分析