微信小程序爬能源相关题目

1.安装fiddler或其他抓包软件

1.1在tool options里面配置端口8889

1.2安装证书并且配置options

我选择的从所有进程，app爬虫最好选择从remote，我这个选择后没有包；
试过了很多模拟器，最后选择逍遥模拟器

2.安装逍遥模拟器

2.1进bios里打开vt

2.2选择手机

2.3选择合适机型

网络模式选择默认即可

2.4安装微信

由于最新版微信协议的问题会抓不到包，这里采用老版本
先下载

• 选择历史版本
  
• 选择7.0以前版本

3.安装证书以及代理

3.1先进入小程序

3.2打开设置

长按，选择修改网络

3.3打开cmd输入ipconifg

按本机ipv4地址设置好
并打开手机浏览器，地址栏访问本机ipv4地址


选择下面的download the fiddlerrootcertificate,并安装证书

3.4清空fiddler

浏览器地址栏输入www.baidu.com看fiddler能否抓到https的包

m.baidu.com是百度移动端的url,已经抓到了

4.开始抓包

已经抓到包了
可以看到请求的url和返回的json


完全相符
再次抓包

这样选择

经过简单分析，可以写脚本了，已经知道url地址和请求需要的参数

subjectid和name有对应关系，但是每个大的分类都要抓包

			if subjectid == "838":
                sb = "锅炉"
            elif subjectid == "839":
                sb = "汽机"
            elif subjectid == "840":
                sb = "电气"
            elif subjectid == "841":
                sb = "控制"
            elif subjectid == "842":
                sb = "安全"
            elif subjectid == "843":
                sb = "环化"
            elif subjectid == "836":

			if ques_type == "1":
                qstype = "单选"
            elif ques_type == "2":
                qstype = "多选"
            elif ques_type == "3":
                qstype = "判断"

			if level == "1":
                level_content = "简单"
            elif level == "2":
                level_content = "中等"
            elif level == "3":
                level_content = "困难"

分别写了三个脚本，一个是url分别请求获取json并打包。一个是分析json，一个是分析json并分析数据组合到文本。代码已经放到gitee
链接: 微信小程序爬虫 的一次探索.