网络爬虫-模拟手机浏览器抓取数据

有些网站的数据在PC端很复杂，参数加密很严重，但是移动APP端的就没那么多加密，所以在遇到有些瓶颈的情况下，可以考虑从网页端转到移动端去抓包，爬取数据。这里有两种方法：

一. 使用模拟器下载APP

如果该网站有APP的话，推荐使用逍遥安卓模拟器，可以设置代理，使用fiddler进行抓包。

二.使用谷歌浏览器伪装安卓/苹果用户

这种方式就比较简单方便，直接修改chrome浏览器的user-agent为指定的机型即可。

这里主要介绍一下第二种方法。

乐桃航空PC端

乐桃航空移动端

可以看出移动端的界面比PC端的简洁很多，抓包的时候也方便许多，可以过滤掉很多杂乱无章的js或者其他加载的数据。

如何设置修改chrome浏览器的user-agent

1.下载好最新版本的谷歌浏览器(我这里的版本是v63)
2.将Google Chrome复制粘贴一份，一个用来做正常PC端浏览器，一个用来模拟手机浏览器
3.右键单击复制后的Google Chrome浏览器，选择属性
4.在Google Chrome的目标后添加以下代码(以我桌面的浏览器为例 注意–user前面有一个空格)

安卓

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --user-agent="Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"

苹果

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --user-agent="Mozilla/5.0 (iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.10"

5.给该浏览器重命名为安卓/苹果浏览器(这一步可以忽略，主要是用来区分普通浏览器和伪装浏览器)

接下来打开浏览器 可以发现已经变成安卓/苹果浏览器界面了，有些网站没有设置自适应屏幕，所以自行打开开发者工具调试一下分辨率就OK了。

PS
这里我还得吐槽一下乐桃航空，下订单的时候必须支付完成之后才有订单，说有支付宝方式支付但是找了半天，PC端和移动端都是没有的！这让我抓完包之后进行测试的时候如何是好~ 毕竟不敢真的将自己的信用卡号填上去