使用Perl语言写个简单的爬虫

之前用Scala和Go语言分别都写了一个爬虫，最近看了Perl，就来写个功能相同的版本。使用到了LWP::Simple模块，使用 cpan LWP安装即可（Ubuntu 13.04没有随Perl一同提供这个重要模块，太可惜了）。代码如下：

 1 #!/usr/bin/perl
 2 use LWP::Simple qw/get/;
 3 
 4 my %pages;
 5 print "Processing the index.\n";
 6 $_ = get("http://www.yifan100.com/dir/15136/");
 7 while(m#<a target="_blank" href="/article/(.*?)\.html" title="(.*?)" >#g){
 8     $pages{$1}=$2;
 9 }
10 for(keys %pages){
11     my ($l, $f) = ("http://www.yifan100.com/article/$_.html", "$_.txt");
12     open F, ">$f";
13     print "Processing $l.\n";
14     if(get($l) =~ m#<div class="artcontent">(.*)<div id="zhanwei">#s){
15         $_ = $1;
16         s#<br>#\n#g;
17         s#<.*?>##gs;
18         s#^\s+##g;
19         print "Writing to $f.\n";
20         print F;
21     }
22     close F;
23 }

显然，代码中用的是单线程（或者说单进程），全部执行完时间还是很多的（猜想主要是http下载时间比较长），之前用其他版本的测试时间也忘了。时间如下：

    real    3m58.753s
    user    0m0.900s
    sys    0m0.632s

很明显使用Perl，代码少了很多（和Scala和Go相比），处理文本是Perl的优势所在。