1抓取网页

 

　　网络爬虫的基本操作是抓取网页。那么如何才能随心所欲地获得自己想要的页面？这一节将从URL开始讲起，然后告诉大家如何抓取网页，并给出一个使用Java语言抓取网页的例子。最后，要讲一讲抓取过程中的一个重要问题：如何处理HTTP状态码。

1.1.1 深入理解URL

　　抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如，你打开一个浏览器，输入猎兔搜索网站的地址，如图1.1所示。

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　图1.1 使用浏览器浏览网页

　　“打开”网页的过程其实就是浏览器作为一个浏览的“客户端”，向服务器端发送了一次请求，把服务器端的文件“抓”到本地，再进行解释、展现。更进一步，可以通过浏览器端查看“抓取”过来的文件源代码。选择“查看”|“源文件”命令，就会出现从服务器上“抓取”下来的文件的源代码，如图1.2所示。

                                                          　　　　　　 图1.2 浏览器端源代码

　　在上面的例子中，我们在浏览器的地址栏中输入的字符串叫做URL。那么，什么是URL呢？直观地讲，URL就是在浏览器端输入的http://www.lietu.com这个字符串。下面我们深入介绍有关URL的知识。
　　在理解URL之前，首先要理解URI的概念。什么是URI？Web上每种可用的资源，如HTML文档、图像、视频片段、程序等都由一个通用资源标志符(UniversalResourceIdentifier，URI)进行定位。
　　URI通常由三部分组成：①访问资源的命名机制；②存放资源的主机名；③资源自身的名称，由路径表示。如下面的URI：http://www.webmonkey.com.cn/html/html40/

　　我们可以这样解释它：这是一个可以通过HTTP协议访问的资源，位于主机www.webmonkey.com.cn上，通过路径“/html/html40”访问。
　　URL是URI的一个子集。它是UniformResourceLocator的缩写，译为“统一资源定位符”。通俗地说，URL是Internet上描述信息资源的字符串，主要用在各种WWW客户程序和服务器程序上，特别是著名的Mosaic。采用URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。URL的格式由三部分组成：

　　�第一部分是协议(或称为服务方式)。

　　�第二部分是存有该资源的主机IP地址(有时也包括端口号)。

　　�第三部分是主机资源的具体地址，如目录和文件名等。
　　第一部分和第二部分用“://”符号隔开，第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的，第三部分有时可以省略。
　　根据URL的定义，我们给出了常用的两种URL协议的例子，供大家参考。

 

1．HTTP协议的URL示例

　　使用超级文本传输协议HTTP，提供超级文本信息服务的资源。例：http://www.peopledaily.com.cn/channel/welcome.htm
　　其计算机域名为www.peopledaily.com.cn。超级文本文件(文件类型为.html)是在目录/channel下的welcome.htm。这是中国人民日报的一台计算机。
例：http://www.rol.cn.net/talk/talk1.htm
　　其计算机域名为www.rol.cn.net。超级文本文件(文件类型为.html)是在目录/talk下的talk1.htm。这是瑞得聊天室的地址，可由此进入瑞得聊天室的第1室。

 

 2．文件的URL

　　用URL表示文件时，服务器方式用file表示，后面要有主机IP地址、文件的存取路径(即目录)和文件名等信息。有时可以省略目录和文件名，但“/”符号不能省略。例：file://ftp.yoyodyne.com/pub/files/foobar.txt
　　上面这个URL代表存放在主机ftp.yoyodyne.com上的pub/files/目录下的一个文件，文件名是foobar.txt。例：file://ftp.yoyodyne.com/pub
　　代表主机ftp.yoyodyne.com上的目录/pub。例：file://ftp.yoyodyne.com/
　　代表主机ftp.yoyodyne.com的根目录。
　　爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进行进一步的处理。因此，准确地理解URL对理解网络爬虫至关重要。从下一节开始，我们将详细地讲述如何根据URL地址来获得网页内容。

 

1.1.2 通过指定的URL抓取网页内容

　　上一节详细介绍了URL的构成，这一节主要阐述如何根据给定的URL来抓取网页。
　　所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
　　Java语言是为网络而生的编程语言，它把网络资源看成是一种文件，它对网络资源的访问和对本地文件的访问一样方便。它把请求和响应封装为流。因此我们可以根据相应内容，获得响应流，之后从流中按字节读取数据。例如，java.net.URL类可以对相应的Web服务器发出请求并且获得响应文档。java.net.URL类有一个默认的构造函数，使用URL地址作为参数，构造URL对象：

URLpageURL=newURL(path);

　　接着，可以通过获得的URL对象来取得网络流，进而像操作本地文件一样来操作网络资源：
　　

InputStreamstream=pageURL.openStream();

 

　　在实际的项目中，网络环境比较复杂，因此，只用java.net包中的API来模拟IE客户端的工作，代码量非常大。需要处理HTTP返回的状态码，设置HTTP代理，处理HTTPS协议等工作。为了便于应用程序的开发，实际开发时常常使用Apache的HTTP客户端开源项目——HttpClient。它完全能够处理HTTP连接中的各种问题，使用起来非常方便。只需在项目中引入HttpClient.jar包，就可以模拟IE来获取网页内容。例如：　　

     //创建一个客户端，类似于打开一个浏览器
　　HttpClienthttpclient=newHttpClient();

　　 //创建一个get方法，类似于在浏览器地址栏中输入一个地址
　　GetMethodgetMethod=newGetMethod("http://www.blablabla.com");
　　//回车，获得响应状态码
　　intstatusCode=httpclient.executeMethod(getMethod);
　　//查看命中情况，可以获得的东西还有很多，比如head、cookies等
　　System.out.println("response="+getMethod.getResponseBodyAsString());
　　//释放
　　getMethod.releaseConnection();

 

　　上面的示例代码是使用HttpClient进行请求与响应的例子。第一行表示创建一个客户端，相当于打开浏览器。第二行使用get方式对http://www.blablabla.com进行请求。第三行执行请求，获取响应状态。第四行的getMethod.getResponseBodyAsString()方法能够以字符串方式获取返回的内容。这也是网页抓取所需要的内容。在这个示例中，只是简单地把返回的内容打印出来，而在实际项目中，通常需要把返回的内容写入本地文件并保存。最后还要关闭网络连接，以免造成资源消耗。
　　这个例子是用get方式来访问Web资源。通常，get请求方式把需要传递给服务器的参数作为URL的一部分传递给服务器。但是，HTTP协议本身对URL字符串长度有所限制。因此不能传递过多的参数给服务器。为了避免这种问题，通常情况下，采用post方法进行HTTP请求，HttpClient包对post方法也有很好的支持。例如：

　　

//得到post方法
PostMethodPostMethod=newPostMethod("http://www.saybot.com/postme");
//使用数组来传递参数
NameValuePair[]postData=newNameValuePair[2];
//设置参数
postData[0]=newNameValuePair("武器","枪");
postData[1]=newNameValuePair("什么枪","神枪");
postMethod.addParameters(postData);
//回车，获得响应状态码
intstatusCode=httpclient.executeMethod(getMethod);
//查看命中情况，可以获得的东西还有很多，比如head、cookies等
System.out.println("response="+getMethod.getResponseBodyAsString());
//释放
getMethod.releaseConnection();

 

　　上面的例子说明了如何使用post方法来访问Web资源。与get方法不同，post方法可以使用NameValuePair来设置参数，因此可以设置“无限”多的参数。而get方法采用把参数写在URL里面的方式，由于URL有长度限制，因此传递参数的长度会有限制。
　　有时，我们执行爬虫程序的机器不能直接访问Web资源，而是需要通过HTTP代理服务器去访问，HttpClient对代理服务器也有很好的支持。如：

　　

//创建HttpClient相当于打开一个代理
HttpClienthttpClient=newHttpClient();
//设置代理服务器的IP地址和端口
httpClient.getHostConfiguration().setProxy("192.168.0.1",9527);
//告诉httpClient，使用抢先认证，否则你会收到“你没有资格”的恶果
httpClient.getParams().setAuthenticationPreemptive(true);
//MyProxyCredentialsProvder返回代理的credential(username/password)
httpClient.getParams().setParameter(CredentialsProvider.PROVIDER,
newMyProxyCredentialsProvider());
//设置代理服务器的用户名和密码
httpClient.getState().setProxyCredentials(newAuthScope("192.168.0.1",
AuthScope.ANY_PORT,AuthScope.ANY_REALM),
newUsernamePasswordCredentials("username","password"));

 

　　上面的例子详细解释了如何使用HttpClient设置代理服务器。如果你所在的局域网访问Web资源需要代理服务器的话，你可以参照上面的代码设置。
　　这一节，我们介绍了使用HttpClient抓取网页的内容，之后，我们将给出一个详细的例子来说明如何获取网页。

 

 1.1.3 Java网页抓取示例

　　在这一节中，我们根据之前讲过的内容，写一个实际的网页抓取的例子。这个例子把上一节讲的内容做了一定的总结，代码如下：
　　

publicclassRetrivePage{
privatestaticHttpClienthttpClient=newHttpClient();
//设置代理服务器
static{
//设置代理服务器的IP地址和端口
httpClient.getHostConfiguration().setProxy("172.17.18.84",8080);
}
publicstaticbooleandownloadPage(Stringpath)throwsHttpException,
IOException{
InputStreaminput=null;
OutputStreamoutput=null;
//得到post方法
PostMethodpostMethod=newPostMethod(path);
//设置post方法的参数
NameValuePair[]postData=newNameValuePair[2];postData[0]=new
NameValuePair("name","lietu");postData[1]=new NameValuePair("password","*****");
postMethod.addParameters(postData);
//执行，返回状态码
intstatusCode=httpClient.executeMethod(postMethod);
//针对状态码进行处理(简单起见，只处理返回值为200的状态码)
if(statusCode==HttpStatus.SC_OK){
input=postMethod.getResponseBodyAsStream();
//得到文件名
Stringfilename=path.substring(path.lastIndexOf('/')+1);
//获得文件输出流
output=newFileOutputStream(filename);
//输出到文件
inttempByte=-1;
while((tempByte=input.read())>0){
output.write(tempByte);
}
//关闭输入输出流
if(input!=null){
input.close();
}
if(output!=null){
output.close();
}
returntrue;
}
returnfalse;
}
/**
*测试代码
*/
publicstaticvoidmain(String[]args){
//抓取lietu首页，输出
try{
RetrivePage.downloadPage("http://www.lietu.com/");
}catch(HttpExceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}catch(IOExceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
}
}

　　上面的例子是抓取猎兔搜索主页的示例。它是一个比较简单的网页抓取示例，由于互联网的复杂性，真正的网页抓取程序会考虑非常多的问题。比如，资源名的问题，资源类型的问题，状态码的问题。而其中最重要的就是针对各种返回的状态码的处理。下一节将重点介绍处理状态码的问题。

 

 1.1.4 处理HTTP状态码

　　上一节介绍HttpClient访问Web资源的时候，涉及HTTP状态码。比如下面这条语句：

intstatusCode=httpClient.executeMethod(getMethod);//回车，获得响应状态码

 

　　HTTP状态码表示HTTP协议所返回的响应的状态。比如客户端向服务器发送请求，如果成功地获得请求的资源，则返回的状态码为200，表示响应成功。如果请求的资源不存在，则通常返回404错误。
　　HTTP状态码通常分为5种类型，分别以1～5五个数字开头，由3位整数组成。1XX通常用作实验用途。这一节主要介绍2XX、3XX、4XX、5XX等常用的几种状态码，如表1.1所示。

 

状态代码	代码描述	处理方式
200	请求成功	获得响应的内容，进行处理
201	请求完成，结果是创建了新资源。新创建资源的URI可在响应的实体中得到	爬虫中不会遇到
202	请求被接受，但处理尚未完成	阻塞等待
204	服务器端已经实现了请求，但是没有返回新的信息。如果客户是用户代理，则无须为此更新自身的文档视图	丢弃
300	该状态码不被HTTP/1.0的应用程序直接使用，只是作为3XX类型回应的默认解释。存在多个可用的被请求资源	若程序中能够处理，则进行进一步处 理，如果程序中不能处理，则丢弃
301	请求到的资源都会分配一个永久的URL,这样就可以在将来通过该URL来访问此资源	重定向到分配的URL
302	请求到的资源在一个不同的URL处临时保存	重定向到临时的URL
304	请求的资源为更新	丢弃
400	非法请求	丢弃
401	未授权	丢弃
403	禁止	丢弃
404	没有找到	丢弃
5XX	回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求	丢弃

 　　当返回的状态码为5XX时，表示应用服务器出现错误，采用简单的丢弃处理就可以解决。

　　 当返回值状态码为3XX时，通常进行转向，以下是转向的代码片段，读者可以和上一节的代码自行整合到一起：

 

//若需要转向，则进行转向操作
if((statusCode==HttpStatus.SC_MOVED_TEMPORARILY)||(statusCode==
HttpStatus.SC_MOVED_PERMANENTLY)||(statusCode==HttpStatus.SC_SEE_OTHER)
||(statusCode==HttpStatus.SC_TEMPORARY_REDIRECT)){
//读取新的URL地址
Headerheader=postMethod.getResponseHeader("location");
if(header!=null){
StringnewUrl=header.getValue();
if(newUrl==null||newUrl.equals("")){
newUrl="/";
//使用post转向
PostMethodredirect=newPostMethod(newUrl);
//发送请求，做进一步处理……
}
}
}

　　当响应状态码为2XX时，根据表1.1的描述，我们只需要处理200和202两种状态码，其他的返回值可以不做进一步处理。200的返回状态码是成功状态码，可以直接进行网页抓取，例如：

//处理返回值为200的状态码
if(statusCode==HttpStatus.SC_OK){
input=postMethod.getResponseBodyAsStream();
//得到文件名
Stringfilename=path.substring(path.lastIndexOf('/')+1);
//获得文件输出流
output=newFileOutputStream(filename);
//输出到文件
inttempByte=-1;
while((tempByte=input.read())>0){
output.write(tempByte);
}
}

　　202的响应状态码表示请求已经接受，服务器再做进一步处理。