直播网站爬虫

本人phper一名,从第一次接触php到现在一共也就不到一年的时间,别的需要也不会,鉴于工作的需要,看别人用python爬了一遍直播平台,感觉php应该也能实现,于是乎不停的寻找,终于让我找到了一些简便的方法,特此记录一下

项目地址
http://git.oschina.net/chenggx/onlive_spider

使用ThinkPHP3.2框架作为爬虫的框架,配合HtmlDomParser,QueryList获得html代码,并机械Dom元素。
其中 QueryList是我无意中发下的一个php扩展。(感觉很强大,可是不太会用,在dom解析的时候不知道是什么原因无法获取,后来就换成HtmlDomParser。

你可能感兴趣的:(直播网站爬虫)