用PHP抓取页面并分析

在做抓取前，记得把php.ini中的max_execution_time设置的大点，不然会报错的。

 

一、用Snoopy.class.php抓取页面

　　一个挺萌的类名。功能也很强大，用来模拟浏览器的功能，可以获取网页内容，发送表单等。

　　1）我现在要抓取一个网站的列表页的内容，我要抓取的是全国的医院信息内容，如下图：

　　

 

　　2）我很自然的将URL地址复制下来，用Snoopy类来抓取前10页的页面内容，而且将内容放到本地来，在本地建立html文件，等下用于分析。

$snoopy=new Snoopy();

//医院list页面

 for($i = 1; $i <= 10; $i++) {

   $url = 'http://www.guahao.com/hospital/areahospitals?p=全国&pageNo=' . $i;

   $snoopy->fetch($url);

   file_put_contents("web/page/$i.html", $snoopy->results);

 }

 echo 'success';

　　

　　3）很奇怪的是返回回来的不是全国的内容，而是上海的相关内容

　　

 

　　4）后面怀疑是里面可能设置了cookie，然后用firebug查看，果然有惊人内幕

　　

 

　　5）在请求的时候将cookie的值也放进去，就加了个设置语句$snoopy->cookies["_area_"]，情况就大不一样了，顺利返回全国信息。

$snoopy=new Snoopy();

//医院list页面

$snoopy->cookies["_area_"] = '{"provinceId":"all","provinceName":"全国","cityId":"all","cityName":"不限™"}';

for($i = 1; $i <= 10; $i++) {

　　//...页面内容抓取...
}

 

二、用phpQuery.php分析页面

　　用了这个类能像jQuery那样操作DOM，不必为采集网站内容而使用那些头疼的正则算法了，用法上与jQuery相似，只是$()换成了pq()。主页放在google的code中，被屏蔽了得FQ一下，下面的附件中我分享了一个最新版本的fgFQ软件。用法很简单只要打开fg742p.exe文件就可以了。

　　1）我要获取每一页内容中的每个具体医院的信息，例如要获取301医院的信息。

　　

　　每页的内容页面已经在前面的操作中抓取到了本地。所以可以直接用localhost了。

  $snoopy=new Snoopy();

　for($i = 1; $i <= 10; $i++) {

    $url = "http://localhost/spider/web/page/$i.html";

    $snoopy->fetch($url);

    $html = $snoopy->results;

  }

　　

　　2）用phpQuery获取到节点信息，如下图的DOM结构：

　　

　　使用一些phpQuery的方法，结合DOM结构读取每个医院信息的URL地址。

for($i = 1; $i <= 10; $i++) {

    //...抓取本地页面...

    phpQuery::newDocument($html);  //初始化对象

    $urls = array();

    foreach(pq('.search-hos-info dl dt a') as $item) {

      array_push($urls, pq($item)->attr('href')); //医院详情

    }

}

　　

　　3）根据读取到的URL地址列表，抓取指定的页面。

$detailIndex = 1;

for($i = 1; $i <= 10; $i++) {

    //...抓取本地页面...

    //...获取指定节点的href地址信息...

    $len = count($urls);

    for($row = 1; $row <= $len; $row++) {

      $snoopy->fetch($urls[$row - 1]);

      file_put_contents("web/hospital/$detailIndex.html", $snoopy->results);

      $detailIndex++;

    }

}

 

FQ工具下载：

翻越障碍.rar

demo下载：

http://download.csdn.net/detail/loneleaf1/8089507

 

Snoopy类的一些说明：

类方法

fetch($URI)	这是为了抓取网页的内容而使用的方法。 $URI参数是被抓取网页的URL地址。 抓取的结果被存储在 $this->results 中。 如果你正在抓取的是一个框架，Snoopy将会将每个框架追踪后存入数组中，然后存入 $this->results。
fetchtext($URI)	本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中的文字内容。
fetchform($URI)	本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中表单内容(form)。
fetchlinks($URI)	本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。 默认情况下，相对链接将自动补全，转换成完整的URL。
submit($URI,$formvars)	本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。
submittext($URI,$formvars)	本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回登陆后网页中的文字内容。
submitlinks($URI)	本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。 默认情况下，相对链接将自动补全，转换成完整的URL。

类属性

$host	连接的主机
$port	连接的端口
$proxy_host	使用的代理主机，如果有的话
$proxy_port	使用的代理主机端口，如果有的话
$agent	用户代理伪装 (Snoopy v0.1)
$referer	来路信息，如果有的话
$cookies	cookies， 如果有的话
$rawheaders	其他的头信息, 如果有的话
$maxredirs	最大重定向次数， 0=不允许 (5)
$offsiteok	whether or not to allow redirects off-site. (true)
$expandlinks	是否将链接都补全为完整地址 (true)
$user	认证用户名, 如果有的话
$pass	认证用户名, 如果有的话
$accept	http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error	哪里报错, 如果有的话
$response_code	从服务器返回的响应代码
$headers	从服务器返回的头信息
$maxlength	最长返回数据长度
$read_timeout	读取操作超时 (requires PHP 4 Beta 4+)，设置为0为没有超时
$timed_out	如果一次读取操作超时了，本属性返回 true (requires PHP 4 Beta 4+)
$maxframes	允许追踪的框架最大数量
$status	抓取的http的状态
$temp_dir	网页服务器能够写入的临时文件目录 (/tmp)
$curl_path	cURL binary 的目录, 如果没有cURL binary就设置为 false