如何使用Java语言实现一个网页爬虫

　网络上有许多信息，我们如何自动的获取这些信息呢？没错，网页爬虫~!
在这篇博文中，我将会使用java语言一步一步的编写一个原型的网页爬虫，其实网页爬虫并没有它听起来那么难。紧跟我的教程，我相信你会在马上学会，一个小时应该可以搞定，之后你就可以享受你所获得的大量数据。这次所编写的是最简单的教程，可以说是网页爬虫的hello world程序， 由于仅仅是原型，之后你要花更多的时间来研究并未自己来定制特定需求的爬虫。
首先，我认为你已经掌握了下面的基础知识：
　　　1.基础的java编程
　　　2.关于sql以及mysql数据库或者oracle数据库
如果你不想使用数据库的话，你可以用一个文件来将爬到的数据存储好。

---

一、我们的目标
给定一个学校的URL，例如“mit.edu”,返回包括字符串“research”所有的这个学校的页面。
一个经典的爬虫程序步骤：
1.解析根网页（“mit.edu”）,并从这个网页得到它所有的链接。获取每个URL并解析HTML页面，我会使用Jsoup来处理，Jsoup是一个好用而且方便的java库。
2.使用步骤1返回回来的URL，解析这些URL。
3.当我们在做上面两个步骤的时候，我们需要跟踪哪些页面是之前已经被处理了的，那样的话，每个页面只需被处理一次。这也是我们为什么需要数据库的原因了。

---

二、建立Mysql数据库
　　如果你使用的是ubuntu, 你可以使用经典的Apache, MySQL, PHP, and phpMyAdmin来操作。
　　如果你是用的是windows，你可以简单的使用wampServer或者SQLlog并安装，也可以使用oracle数据库，可以使用PLSQL developer工具。
　　这里我使用mysql sqllog工具，它是使用mysql数据化的一个可视化的GUI工具，当然你也可以使用其他的工具或者方法。
　　
　　

---

三、创建数据库以及表
创建一个数据库名为：Crawler，创建一个表，名为：Record

下面是一个oracle sql 脚本

CREATE TABLE Record (--创建表
  RecordID integer NOT NULL primary key,
  URL varchar2(200) NOT NULL
 );

CREATE SEQUENCE RecordID_Sequence--创建序列
 INCREMENT BY 1   -- 每次加几个  
     START WITH 1     -- 从1开始计数  
     NOMAXVALUE       -- 不设置最大值  
     NOCYCLE;      -- 一直累加，不循环

CREATE TRIGGER record_increase BEFORE--创建触发器
insert ON Record FOR EACH ROW
begin
select RecordID_Sequence.nextval into:New.RecordID from dual;
end;

如果是mysql的话，如此执行：

CREATE TABLE IF NOT EXISTS `Record` (
  `RecordID` INT(11) NOT NULL AUTO_INCREMENT,
  `URL` TEXT NOT NULL,
  PRIMARY KEY (`RecordID`)
) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

下图是使用pl/sql的示例图：

---

四、使用Java开始爬虫
1.　下载Jsoup核心库，点击这里下载。
“`

---

如果使用oracle数据库， 你需要下载oracle的JDBC驱动jar包，ojdbc14.jar包
如果使用mysql数据库，那么需要下载mysql-connector-java 的jar包

---

2.　在Eclipse中创建项目，并将Jsoup库jar以及ojdbc14.jar也加入到Java Build Path（右键点击项目，选择build path—>”Configure Build Path” –> click “Libraries” tab –> click “Add External JARs”）
3.　创建一个DB类，来处理数据库的操作。

package crawlerDemo;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class DB {

    public Connection conn = null;

    public DB() {
        try {
            Class.forName("com.mysql.jdbc.Driver");
            String url = "jdbc:mysql://localhost:3306/Crawler";
            conn = DriverManager.getConnection(url, "wonderq", "root");
            System.out.println("conn built");
        } catch (SQLException e) {
            e.printStackTrace();
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
    }

    public ResultSet runSql(String sql) throws SQLException {
        Statement sta = conn.createStatement();
        return sta.executeQuery(sql);
    }

    public boolean runSql2(String sql) throws SQLException {
        Statement sta = conn.createStatement();
        return sta.execute(sql);
    }

    @Override
    protected void finalize() throws Throwable {
        if (conn != null || !conn.isClosed()) {
            conn.close();
        }
    }
    public static void main(String[] args) {
        new DB();
    }
}

4.创建一个名为“Main”的类，这个类将是我们的爬虫。

package crawlerDemo;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


public class Main {
    public static DB db = new DB();

    public static void main(String[] args) throws SQLException, IOException {
        db.runSql2("TRUNCATE Record;");
        processPage("http://www.mit.edu");
    }

    public static void processPage(String URL) throws SQLException, IOException{
        //检查一下是否给定的URL已经在数据库中
        String sql = "select * from Record where URL = '"+URL+"'";
        ResultSet rs = db.runSql(sql);
        if(rs.next()){

        }else{
            //将uRL存储到数据库中避免下次重复
            sql = "INSERT INTO  `Crawler`.`Record` " + "(`URL`) VALUES " + "(?);";
            PreparedStatement stmt = db.conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);
            stmt.setString(1, URL);
            stmt.execute();

            //得到有用的信息
            Document doc = Jsoup.connect("http://www.mit.edu/").get();

            if(doc.text().contains("research")){
                System.out.println(URL);
            }

            //得到所有的链接，并递归调用
            Elements questions = doc.select("a[href]");
            for(Element link: questions){
                if(link.attr("href").contains("mit.edu"))
                    processPage(link.attr("abs:href"));
            }
        }
    }
}

现在你已经得到了自己的爬虫，run一下， 看看结果吧。



查看mysql数据库，如下所示：

---