curl数据采集系列之正则处理函数get_matches

　　根据前两篇的博文：

　　curl数据采集系列之单页面采集函数get_html 

　　curl数据采集系列之多页面并行采集函数get_htmls 

　　已经可以得到了我们需要的html文件，现在需要处理得到的文件获取到我们需要的采集的数据。

　　对于html文档的解析，没有像XML那样的解析类，因为HTML文档有很多不成对的标签，很不严格。这个时候就需要采用其他的一些辅助类了，simplehtmldom是一个类似于JQuery方式操作HTML文档的解析类。可以很方便的得到想要的数据，可惜速度慢。这里不是我们这里讨论的重点，我主要使用正则来匹配我所需要的采集的数据，可以很快速的得到我需要采集的信息。

　　考虑到get_html可以判断返回的数据,但是get_htmls没有办法判断，为了方便调式和调用写了如下两个函数：

　　

 1 function get_matches($pattern,$html,$err_msg,$multi=false,$flags=0,$offset=0){

 2     if(!$multi){

 3         if(!preg_match($pattern,$html,$matches,$flags,$offset)){

 4             echo $err_msg."! 错误信息: ".get_preg_err_msg()."\n";

 5             return false;

 6         }

 7     }else{

 8         if(!preg_match_all($pattern,$html,$matches,$flags,$offset)){

 9             echo $err_msg."! 错误信息: ".get_preg_err_msg()."\n";

10             return false;

11         }

12     }

13     return $matches;

14 }

15 function get_preg_err_msg(){

16     $error_code = preg_last_error();

17     switch($error_code){

18         case PREG_NO_ERROR :

19             $err_msg = 'PREG_NO_ERROR';

20             break;

21         case PREG_INTERNAL_ERROR:

22             $err_msg = 'PREG_INTERNAL_ERROR';

23             break;

24         case PREG_BACKTRACK_LIMIT_ERROR:

25             $err_msg = 'PREG_BACKTRACK_LIMIT_ERROR';

26             break;

27         case PREG_RECURSION_LIMIT_ERROR:

28             $err_msg = 'PREG_RECURSION_LIMIT_ERROR';

29             break;

30         case PREG_BAD_UTF8_ERROR:

31             $err_msg = 'PREG_BAD_UTF8_ERROR';

32             break;

33         case PREG_BAD_UTF8_OFFSET_ERROR:

34             $err_msg = 'PREG_BAD_UTF8_OFFSET_ERROR';

35             break;

36         default:

37             return '未知错误!';

38     }

39     return $err_msg.': '.$error_code;

40 }

可以这样调用：

1 $url = 'http://www.baidu.com';

2 $html = get_html($url);

3 $matches = get_matches('!<a[^<]+</a>!',$html,'没有找到链接',true);

4 if($matches){

5     var_dump($matches);

6 }

或者这样调用：

1 $urls = array('http://www.baidu.com','http://www.hao123.com');

2 $htmls = get_htmls($urls);

3 foreach($htmls as $html){

4     $matches = get_matches('!<a[^<]+</a>!',$html,'没有找到链接',true);

5     if($matches){

6         var_dump($matches);

7     }

8 }

就可以得到所需的信息，无论单页面采集还是多页面采集，最终PHP还是只能处理一个页面，由于使用get_matches了，可以对返回的值进行判断真假，得到正确的数据，由于使用正则的时候遇到了超过正则回溯的问题，增加get_preg_err_msg来提示正则信息。

　　由于采集数据的时候，经常是采集列表页，根据列表页得到的内容页链接再采集内容页，或者更多的层次，那么循环嵌套会很多，对于代码的控制会感觉力不从心。那我们是否可以把采集列表页的代码和采集内容页的代码，或者更多的层次的采集代码分离开，甚至循环都简化呢？

　　留到最后两篇来写吧。