从网页中爬取小说内容并保存为文本文件的小程序

起因：本人特别喜欢看小说，网上有很多连载的小说。比如这样一个网站http://www.yi-see.com/art_5165_9215.html 下面是网站的截图：

一篇文章有很多小节，我想把所有的小节下下来，合并到一个文本文件中比如novel.txt。这样可以放在手机上，躺在被窝里看。于是写了这样一个小程序。这个小程序只是针对该网站的布局来写的，因此非常的不灵活。

这件事情看起来很复杂，首先需要从网站中把各个小节的超链接提取出来，然后连接每一个超链接，找到小说内容所在的标签，提取出内容下载到本地文件。每一项工作都很难实现，不像一个小程序能够完成的任务。但是因为有了她，一切都简单了。这就是牛逼的HTML分析库Jsoup。Jsoup接口做的非常的友好，大家一看就知道什么意思。

首先用Jsoup来实现提取各小节的网址的功能。共分三步

第一步：和网站建立连接，一句代码搞定。Document doc = Jsoup.connect(url).get();url为网站的网址。

第二步：提取所有的超链接地址，一句代码搞定。Elements links = doc.select("a[href]");这句代码的意思是把所有含有属性href的a标签提取出来。

第三步：在第二步中提取了所有的超链接，但是我们想要的是每一小节的超链接，下面就要对超链接进行筛选，通过观察网站的源代码，我们发现每一小节的地址都是以read开头，Jsoup牛逼的地方就体现出来了，它提供了通过正则表达式对元素进行筛选的功能。Elements links = doc.select("a[href~=read.*]");如果要跟正则表达式等号前面要加一个~符号。

下面就是提取出来的网址：

  (第1节)

   (第4节)

   (第2节)

   (第5节)

   (第3节)

   (第6节)

我们会发现，网址不是按顺序排列的，这样提取内容时，顺序也会发生问题，还需要对网址排序，排序很容易，见代码。

然后分析网页的结构找到小说内容所在的标签，会发现小说内容位于标签中，而且该标签还有一个属性提取小说内容也就非常简单了二句代码搞定。

text=doc2.select("td[class=ART]").first();

String str=text.html().replaceAll("
", "\r\n");

最后就是把内容保存到本地文件了非常简单，见代码

import org.jsoup.Jsoup;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.io.PrintWriter;

public class JsoupTest {
    public static void main(String[] args) throws IOException {
        Validate.isTrue(args.length == 1, "usage: supply url to fetch");
        String url = args[0];
		PrintWriter output = new PrintWriter("F:/novel.txt","gb2312");
        Document doc = Jsoup.connect(url).get();
        Elements links = doc.select("a[href~=read.*]");
        String stringLink[]=new String[288];
        print("\nLinks: (%d)", links.size());
        for (Element link : links) {
        	String temp=link.text();
        	int index=Integer.valueOf(temp.substring(1, temp.length()-1));
        	stringLink[index]=link.attr("abs:href");
        }
        Document doc2;
        Element text;
        for(int i=1;i<288;i++)
        {
        	print("%s",stringLink[i]);
        	doc2=Jsoup.connect(stringLink[i]).get();
        	text=doc2.select("td[class=ART]").first();
            String str=text.html().replaceAll("
", "\r\n");
            output.write(str);
            output.write("<--------------------------------------------------------------------->\n");
            output.flush();
        }   
    }