记一次WEB数据采集程序开发经历——对付简单的动态加载

自从学做网站账号批量注册机、图片批量下载器,开始接触HTTP协议,了解了基本的GET/POST请求等知识,于是便开始着手开发一些小东西了。

WEB数据采集,很多人都在搞。据说搞WEB数据采集用JAVA会更方便,有很多现成的类库可用。可以说WEB数据采集这块,是C++的短板。我目前能想到的方法就是利用WinInet,这是一组关于Intelnet三大协议HTTP、FTP、Gopher的windowsAPI。这组API在MFC里有了封装,用起来更方便,#include <afxinet.h>。目前用于开发非企业级的WEB数据采集器绰绰有余。我发现这种个人级的WEB数据采集器,很多人都是用delphi开发,可能是delphi在网络这块要强点吧。

前几天在猪八戒威客网上看到一个悬赏200元的开发程序的任务。任务内容大概是这样的:开发一个程序,从一个类似于58同城的网吧招聘网上采集网吧信息。这个网站上全部是全国各地的网吧招聘信息,要求把这些网吧信息:网吧名、地区、联系人、电话、QQ采集到ACCESS数据库里。其实他的目的不言而喻,他要采集这些数据干嘛?无非是发广告呗,嘿嘿。闲话不多说,打开这个网站看。(敏感信息被我打了马赛克)

记一次WEB数据采集程序开发经历——对付简单的动态加载_第1张图片

记一次WEB数据采集程序开发经历——对付简单的动态加载_第2张图片

可以看出来,这些信息都只是文本,并不是图片。那就简单多了,直接从HTML里读出来不就完事了。用MFC的CInternetSession对象的OpenURL方法打开URL,返回CHttpFile指针,通过该指针调用Read方法把整个HTML页面文本全部读到缓冲区。查看缓冲区,搜索手机号1352298...,居然没搜到。搜索“乔先生”,搜到了。怎么回事?怎么没有手机号在HTML里?

用谷歌浏览器打开这个页面,右键查看源码如下:

发现联系人、邮箱、地址都有,手机号和QQ那里居然是空的。为什么是空的呢?我不停的刷新页面,思考着这个问题。突然,我发每次刷新,都是页面全部内容都出来了,手机号和QQ才紧随其后出来。动态加载!手机号和QQ没有在静态HTML里,是后来加载的。

怎么办?抓包分析!打开Fiddler,强烈推荐这个软件,专门用于抓HTTP协议的包。抓包后发现,每次打开网页,除了页面元素下载,IE进行了四次请求。

0、2、8、9号请求,一个一个查看:

记一次WEB数据采集程序开发经历——对付简单的动态加载_第3张图片

第一个GET请求,很明显,是获取页面HTML的,从下面内容看,也确实是获取了HTML页面。这些内容也就相当于我用CInternetSession获取到的内容,手机号和QQ不在这里面的,不用看了。

记一次WEB数据采集程序开发经历——对付简单的动态加载_第4张图片

第二个是POST请求,从返回内容上来看,是获取评论的,没有我们要找的信息。

记一次WEB数据采集程序开发经历——对付简单的动态加载_第5张图片

第三个是GET请求,从返回内容上来看不知道是什么,先略过。

记一次WEB数据采集程序开发经历——对付简单的动态加载_第6张图片

第四个是POST请求,从返回信息上来看,正是我们要的信息!原来动态加载是这么加载的。我们也用程序模拟这个POST不就行了?但是等等,注意这个POST的目标URL,最后是一段貌似密文的东西。多抓几次看看,发现这段密文每次都不一样!难道是根据时间或Cookie什么的算出来的?那样就比较麻烦了!仔细想想,这个POST提交了个“barID=3070",ID3070,这个ID号在HTML里是有的,它通过提交这个ID获取这个ID对应的网吧信息,那我们在HTML文件里搜索这个ID3070看看。

记一次WEB数据采集程序开发经历——对付简单的动态加载_第7张图片

一搜还果然搜到了。太明显了,这是一段JS脚本,GetBarInfo这个函数也太明显了吧,注意后面的URL,正是我们一直想不通的那段密文!原来是这样!每次获取HTML页面后,里面都包含了不同的用于动态获取网吧信息的URL。再对这个URL用POST方式提交ID获取网吧信息。原来是这么简单。那就容易了,在我们写的程序里,用CInternetSession获取页面HTML内容后检索出这段URL和网吧ID,再用CHttpConnection对象模拟提交一个POST,就可以得到手机号和QQ号了。

可以说这个网站为了防爬虫爬取信息,还是做了一点动态加载的限制,但也太弱了点,直接在HTML里面暴露了。也是我起初一点HTML知识都不懂,搞了半天才发现,如果是熟悉HTML和JS脚本的人,应该一下就发现了吧。

看来网页这块,也得了解下,学习下,如果要继续做WEB数据采集的话。还有更多难题呢。

 

你可能感兴趣的:(记一次WEB数据采集程序开发经历——对付简单的动态加载)