抓取微博热词,使用simple_html_dom来操作html数据

一直以来使用php解析html文档树都是一个难题。Simple HTML DOM parser 很好地解决了这个问题。可以通过这个php类来解析html文档,对其中的html元素进行操作 (PHP5+以上版本)。

解析器不仅仅只是帮助我们验证html文档;更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器,通过元素的id,class,tag等等来查找定位;同时还提供添加、删除、修改文档树的功能。和jq一样的操作还是很方便的。

有三种方式调用这个类:

从url中加载html文档

从字符串中加载html文档

从文件中加载html文档

01 <?php
02 // 新建一个Dom实例
03 $html new simple_html_dom();
04  
05 // 从url中加载
06 $html->load_file('http://www.xxx.com');
07  
08 // 从字符串中加载
09 $html->load('<html><body>从字符串中加载html文档演示</body></html>');
10  
11 //从文件中加载
12 $html->load_file('path/file/test.html');
13 ?>

 

查找html元素

可以使用find函数来查找html文档中的元素。返回的结果是一个包含了对象的数组。我们使用HTML DOM解析类中的函数来访问这些对象,下面给出几个示例

01 <?php
02  
03 //查找html文档中的超链接元素
04 $a $html->find('a');
05  
06 //查找文档中第(N)个超链接,如果没有找到则返回空数组.
07 $a $html->find('a', 0);
08  
09 // 查找id为main的div元素
10 $main $html->find('div[id=main]',0);
11  
12 // 查找所有包含有id属性的div元素
13 $divs $html->find('div[id]');
14  
15 // 查找所有包含有id属性的元素
16 $divs $html->find('[id]');
17 ?>

 

01 <?php
02 // 查找id='#container'的元素
03 $ret $html->find('#container');
04  
05 // 找到所有class=foo的元素
06 $ret $html->find('.foo');
07  
08 // 查找多个html标签
09 $ret $html->find('a, img');
10  
11 // 还可以这样用
12 $ret $html->find('a[title], img[title]');
13 ?>

 

01 <?php
02 // 返回父元素
03 $e->parent;
04  
05 // 返回子元素数组
06 $e->children;
07  
08 // 通过索引号返回指定子元素
09 $e->children(0);
10  
11 // 返回第一个资源速
12 $e->first_child ();
13  
14 // 返回最后一个子元素
15 $e->last _child ();
16  
17 // 返回上一个相邻元素
18 $e->prev_sibling ();
19  
20 //返回下一个相邻元素
21 $e->next_sibling ();
22 ?>

 

元素属性操作

使用简单的正则表达式来操作属性选择器。

[attribute] – 选择包含某属性的html元素

[attribute=value] – 选择所有指定值属性的html元素

[attribute!=value]- 选择所有非指定值属性的html元素

[attribute^=value] -选择所有指定值开头属性的html元素

[attribute$=value] 选择所有指定值结尾属性的html元素

[attribute*=value] -选择所有包含指定值属性的html元素

 

如何避免解析器消耗过多内存

有时候可能Simple HTML DOM解析器消耗内存过多。如果php脚本占用内存太多,会导致网站停止响应等一系列严重的问题。解决的方法也很简单,在解析器加载html文档并使用完成后,记得清理掉这个对象就可以了。

1 <?php
2 $html->clear();
3 ?>

 

下面看看微博热词抓取的源码示例

01 <?php
02  
03 header('Content-Type:text/html;charset=gbk');
04 include "simple_html_dom.php";
05  
06 class Tmemcache {
07  
08     protected $memcache;
09  
10     function __construct($cluster) {
11         $this->memcache = new Memcache;
12         foreach ($cluster['memcached'as $server) {
13             $this->memcache->addServer($server['host'], $server['port']);
14         }
15     }
16  
17     function fetch($cache_key) {
18         return $this->memcache->get($cache_key);
19     }
20  
21     function store($cache_key$val$expire = 7200) {
22         $this->memcache->set($cache_key$val, MEMCACHE_COMPRESSED, $expire);
23     }
24  
25     function flush() {
26         $this->memcache->flush();
27     }
28  
29     function delete($cache_key$timeout = 0) {
30         $this->memcache->delete($cache_key$timeout);
31     }
32  
33 }
34  
35 function unicode_hex_2_gbk($name) {
36     $a = json_decode('{"a":"' $name '"}');
37     if (isset($a) && is_object($a)) {
38         return iconv('UTF-8''GBK//IGNORE'$a->a);
39         return $a->a;
40     }
41     return null;
42 }
43  
44 function curl_fetch($url$time = 3) {
45     $ch = curl_init();
46     curl_setopt($ch, CURLOPT_URL, $url);
47     curl_setopt($ch, CURLOPT_TIMEOUT, $time);
48     curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
49  
50     $data = curl_exec($ch);
51     $errno = curl_errno($ch);
52  
53     if ($errno > 0) {
54         $err "[CURL] url:{$url} ; errno:{$errno} ; info:" . curl_error($ch) . ";";
55         echo $err;
56         $data = false;
57     }
58  
59     curl_close($ch);
60     return $data;
61 }
62  
63 $cluster["memcached"] = array(
64     array("host" => "10.11.1.1""port" => 11211),
65 );
66 //$memcache = new Tmemcache($cluster);
67 $url "http://s.weibo.com/top/summary?cate=total&key=event";
68 $cache_key = md5("weibo" $url);
69 //$str = $memcache->fetch($cache_key);
70 //if (!isset($_GET["nocache"]) && !empty($str)) {
71 //    echo $str;
72 //    exit;
73 //}
74  
75 $content = curl_fetch($url);
76 if ($content === false)
77     exit;
78  
79 $html = str_get_html($content);
80 $a $html->find('script', 8);
81 //测试
82 $a str_replace(array('\\"''\\/', "\\n", "\\t"), array('"', '/'""""), $a);
83 $pos strpos($a'<div class="hot_ranklist">');
84 $a substr($a$pos);
85 ////////
86 //echo "<xmp>";
87 //echo ($a);
88 //echo "</xmp>";
89 $html = str_get_html($a);
90 $arr array();
91 foreach ($html->find('table[id=event]', 0)->find('.rank_content'as $element) {
92     $arr[] = unicode_hex_2_gbk($element->find("a", 0)->plaintext);
93 }
94 $html->clear();
95 $str = implode(","$arr);
96 //if (!isset($_GET["nocache"]))
97 //    $memcache->store($cache_key, $str, 3600);
98 echo $str;

你可能感兴趣的:(抓取微博热词,使用simple_html_dom来操作html数据)