【perl】LWP module

LWP (short for“Library for World Wide Web in Perl”)是一个由多个模块组成，用来获取网络数据的的模块组。

【LWP::Simple】

通过调用 get($url) 函数，就可以得到相关网址的内容。如果没有发生错误，get 函数返回此网页，否则，返回 undef。

LWP::Simple 在做简单的工作时很方便。但因为不支持 cookies，用户认证，对 HTTP request header （请求标头）的编辑，和 HTTP resonse header（响应标头）的读写（主要是 HTTP 的 error message）。因此，当需要这些特性的时候，就要使用 LWP Class 模型。

【LWP::UserAgent和HTTP::Response 】

在众多的 LWP Class 里，LWP::UserAgent 和 HTTP::Response 是必须理解的。LWP::UserAgent 就像一个虚拟浏览器用来作 request （请求）。HTTP::Response 用来储存 request （请求） 生成的 response（响应）。

一个程序里只需要一个 $browser object，但是每次发出一个 request，就会得到一个新的 HTTP::Response object。HTTP::Response object 有以下一些有价值的属性:
一个 status code（状态代码值），表示成功或失败。你可以使用 $response->is_success 来检测它。
http status line（http 状态描述），观察 $response->status_line 的结果.

MIME content-type（文件类型）通过 $response->content_type 来获得。例如 “text/html”，”image/gif”，”application/xml” 等等。
content of the response（响应返回的内容）储存在 $response->content。内容可能是 html 格式。如果是 GIF 格式，$response->content 里是二进制的 GIF 数据。
许多其他 methods 都可以在 HTTP::Response 和它的 superclasses （父 class） HTTP::Message 和 HTTP::Headers 里找到。

添加其他 HTTP 请求 headers
request (请求) 常用的方法是 $response = $browser->get($url)，但如果需要，你可以在 $url 后跟一个键值的列表来给你的 request 加上其他 HTTP headers。象这样 :
  $response = $browser->get( $url, $key1, $value1, $key2, $value2, … );

举个例子，如果你要对一个只允许 Netscape 浏览器连入的网站发出请求，那就需要发出类似 Netscape 的 header，如下:
 my @ns_headers = (
  ‘User-Agent’ => ‘Mozilla/4.76 [en] (Win98; U)’,
  ‘Accept’ => ‘image/gif, image/x-xbitmap, image/jpeg,image/pjpeg, image/png, **’,
  ‘Accept-Charset’ => ‘iso-8859-1,*,utf-8′,
  ‘Accept-Language’ => ‘en-US’,
 );
如果只是打算修改 User-Agent，可以通过 LWP::UserAgent 的 agent 方法把缺省的agent ‘libwww-perl/5.65’（或者别的）改掉。
$browser->agent(‘Mozilla/4.76 [en] (Win98; U)’);

使用 cookies
默认的LWP::UserAgent对象像一个不支持cookies的浏览器一样工作。有不只一种的办法可以设定它的cookie_jar属性，从而让它支持cookies。“cookie jar” 是一个用来储存 HTTP cookie 的容器。你可以把它存到硬盘（像Netscape使用cookies.txt一样）或内存里。存到内存里的 cookies 会在程序完成后消失。
内存式的 cookie 使用方法:$browser->cookie_jar({});也可以把 cookie 储存到硬盘的文件里：

use HTTP::Cookies;
my $cookies=HTTP::Cookies->new(
   ‘file’ => ‘/some/where/cookies.lwp’, # 储存 cookies 的地址
   ‘autosave’ => 1,# 当完成后自动储存到硬盘里
 )
$browser->cookie_jar($cookies );

文件里的 cookie 是以 LWP 自定的格式储存，如果你想在 netscape 里使用这个 cookie 文件，可以使用 HTTP::Cookies::Netscape class :

use HTTP::Cookies;# yes, loads HTTP::Cookies::Netscape too
my $ns_cookies=HTTP::Cookies::Netscape->new(
   ‘file’ => ‘c:/Program Files/Netscape/Users/DIR-NAME-HERE/cookies.txt’,
       # where to read cookies
);
$browser->cookie_jar($ns_cookies );

你也可以象上面一样使用 ‘autosave’ => 1 。 但 Netscape 的 cookie 有时会在写入硬盘之前就被丢掉，至少在写这篇文章的时候还是这样。

通过 POST提交表格
大部分HTML表格使用HTML POST 向服务器提交数据，在这里你可以这样：
$response = $browser->post( $url,
  [
    formkey1 => value1,
    formkey2 => value2,
    …
  ],
);
或者你也可以把 HTTP header 也一起发出
$response = $browser->post( $url,
  [
    formkey1 => value1,
    formkey2 => value2,
    …
  ],
  headerkey1 => value1,
  headerkey2 => value2,
);

使用LWP 访问 人人网由于renren访问用户资料需要登陆才能完成，所以单纯的去抓取肯定步行，所以必须模拟登陆记录cookies，使用lwp模块可以完成:

#!/usr/bin/perl
use strict;
use warnings;
use HTTP::Request;
use HTTP::Cookies;
use LWP::UserAgent;
my $url         = 'http://passport.renren.com/PLogin.do';
# 用来存 cookie
my $cookie_jar  = HTTP::Cookies->new(
file        => "./acookies.lwp",
autosave    => 1,
);
# 给处理 cookie 的对象放到 LWP::UserAgent 中来处理 cookie
# 登陆中
my $browser = LWP::UserAgent->new;
my $cookies = $browser->cookie_jar($cookie_jar);
$browser->agent('Mozilla/9 [en] (Centos; Linux)');
my $res     = $browser->post( $url,
[
email     => 'XXXX',
password    => 'XXXXXX',
origURL   =>'http//www.renren.com/home',
domain => 'renren.com',
],
);
#现在可以访问里面的好友了
#$res =$browser->get('http://www.renren.com/home.do');
$res =$browser->get('http://www.renren.com/235018505?pma=p_profile_m_pub_friendslist_a_profile');
print $res->content();

参考：http://blog.mcshell.org/2012/03/19/perl-lwp-simple-use.html