获取站点源代码

获取站点内容有多种方式我这里介绍两种，一种是通过HTTPSocket对象获取，另一种是通过HttpURLConnection对象获取

1、采用HTTPSocket对象要应用一个叫做heaton的抓取页面的包可以去网上找到下载

参考代码如下：

1. import com.heaton.bot.*;
3. class HTTPGet {
4.     public static void main(String args[]) {
5.         String url;
6.         try {
7.             if (args.length != 1) {
8.             }
9.             // 要获取的页面
10.             url = "http://club.china.alibaba.com/forum/thread/view/96_24986738_.html";
11.             HTTPSocket http = new HTTPSocket();
12.             http.send(url, null);// 向url发送请求
13.             System.out.println("* * Headers from: " + url + "* *");
14.             for (int i = 0; i < http.getClientHeaders().length(); i++) {
15.                 Attribute a = http.getServerHeaders().get(i);// 获取头信息
16.                 System.out.println(a.getName() + "=" + a.getValue());
17.             }
18.             System.out.println("* * * Data from: " + url + "* * *");
19.             System.out.println(http.getBody());// 获取源代码
20.             System.exit(0);
21.         } catch (Exception e) {
22.             System.out.println("Exception thrown: " + e.getMessage());
23.         }
24.     }
25. }

 

2、通过HttpURLConnection对象获取页面，通过HttpURLConnection对象获取页面的头信息和编码信息，通过URL对象获取页面的源代码。参考代码：

1. import java.io.BufferedReader;
2. import java.io.IOException;
3. import java.io.InputStreamReader;
4. import java.net.HttpURLConnection;
5. import java.net.MalformedURLException;
6. import java.net.URL;
8. public class WebSpider {
10.     /**
11.      * @param args
12.      */
13.     public static void main(String[] args) {
14.         try{
15.             URL aurl=new URL("http://www.csdn.net");
16.             HttpURLConnection urlcon=(HttpURLConnection) aurl.openConnection();
17.             //初始化HttpURLConnection对象
18.             System.out.println(urlcon.getHeaderField(0));//获取页面头信息
19.             System.out.println(urlcon.getContentType());
20.             //采用UTF-8读取页面源文件，这里采用的字符集必须与页面相匹配，不匹配可能会出现乱码
21.             BufferedReader bin=new BufferedReader(new InputStreamReader(aurl.openStream(),"utf-8"));
22.             String line = "";
23.             while((line=bin.readLine())!=null){
24.                 System.out.print(line);
25.                 System.out.print('/n');
26.             }
27.             
28.         }catch(MalformedURLException e){
29.             System.out.println("URL error/n");
30.         }catch(IOException e2){
31.             System.out.println("IO error/n");
32.         }
33.     }
35. }