自己动手写搜索引擎（常搜吧历程六#解析文档之PDF#）（Java、Lucene、hadoop）

1、使用PDFBox处理PDF文档

PDF全称Portable Document Format，是Adobe公司开发的电子文件格式。这种文件格式与操作系统平台无关，可以在Windows、Unix或Mac OS等操作系统上通用。

PDF文件格式将文字、字型、格式、颜色及独立于设备和分辨率的图形图像等封装在一个文件中。如果要抽取其中的文本信息，需要根据它的文件格式来进行解析。幸好目前已经有不少工具能帮助我们做这些事情。
2、PDFBox的下载

最常见的一种PDF文本抽取工具就是PDFBox了，访问网址http://sourceforge.net/projects/pdfbox/，进入如图7-1所示的下载界面。读者可以在该网页下载其最新的版本。本书采用的是PDFBox-0.7.3版本。PDFBox是一个开源的Java PDF库，这个库允许你访问PDF文件的各项信息。在接下来的例子中，将演示如何使用PDFBox提供的API，从一个PDF文件中提取出文本信息。
3、在Eclipse中配置

以下是在Eclipse中创建工程，并建立解析PDF文件的工具类的过程。

（1）在Eclipse的workspace中创建一个普通的Java工程：ch7。

（2）把下载的PDFBox-0.7.3.zip解压。

（3）进入external目录下，可以看到，这里包括了PDFBox所有用到的外部包。复制下面的Jar包到工程ch7的lib目录下（如还未建立lib目录，则先创建一个）。

l bcmail-jdk14-132.jar

l bcprov-jdk14-132.jar

l checkstyle-all-4.2.jar

l FontBox-0.1.0-dev.jar

l lucene-core-2.0.0.jar

然后再从PDFBox的lib目录下，复制PDFBox-0.7.3.jar到工程的lib目录下。

（4）在工程上单击右键，在弹出的快捷菜单中选择“Build Path->Config Build Path->Add Jars”命令，把工程lib目录下面的包都加入工程的Build Path。

4、主要类介绍：

PDFTextStripper：核心提取组件，包含设置是否排序、抽取的起始页和结束页等方法。

PDDocument：内存中保存的PDFDocument对象，提供从文件系统和链接地址装入文件两种方式。

LucenePDFDocument：是主要用于和lucene集成的类，提供getDocument方法（也重载为接收url和本地文件两种方式），将PDF文件转化为lucene中的Document对象，并自动提取字段加入Document，可直接通过IndexWriter将其写入索引中。

5、使用PDFBox解析PDF内容

在刚刚创建的Eclipse工程中，创建一个ch7.pdfbox包，并创建一个PdfboxTest类。该类包含一个getText方法，用于从一个PDF中获取文本信息，其代码如下。

import java.io.BufferedWriter;
import java.io.FileInputStream;
import java.io.FileWriter;

import org.pdfbox.pdfparser.PDFParser;
import org.pdfbox.util.PDFTextStripper;


public class PdfParser {

   /**
   * @param args
   */
   // TODO 自动生成方法存根

       public   static   void   main(String[]   args)   throws   Exception{
            PDDocument doc = PDDocument.load("d:/文档.pdf");
            int pagenumber = doc.getNumberOfPages();
            FileOutputStream fos = new FileOutputStream("d:/文档.txt");
            Writer writer = new OutputStreamWriter(fos,"UTF-8");
            PDFTextStripper stripper = new PDFTextStripper();

            ts.setStortByPosition(false);
//          stripper.setWordSeparator("");  //这样中文输出就不会带空格
            stripper.setStartPage(1);
            stripper.setEndPage(4);
            stripper.writeText(doc,writer);
            doc.close();
            writer.close();
         
   }
}

下面我们来看一个索引类

package com.qianyan.pdf;

import java.io.File;
import java.io.IOException;

import net.paoding.analysis.analyzer.PaodingAnalyzer;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexWriter;

public class TestLucenePDFDocument {

	public static void main(String[] args) throws IOException{
		
		String indexDir = "d:/luceneindex";
		Analyzer analyzer = new PaodingAnalyzer();
		IndexWriter writer = new IndexWriter(indexDir, analyzer, true);
		Document doc = LucenePDFDocument.getDocument(new File("d:/explain.pdf"));
		writer.addDocument(doc);
		writer.close;
	}
}

下面介绍解析PDF的另一种方式 （XPDF处理PDF文档）

1、首先需要去下载相应包，XPDF官网Download （xpdfbin-win-3.03.zip、xpdf-chinese-simplified.tar.gz）

2、配置：

1）在这里把解压后的xpdf-chinese-simplified拷贝到解压后xpdfbin-win-3.03的doc目录下

2）找到doc目录下的sample-xpdfrc的文件，改名为xpdfrc，然后打开进行编辑 ：

      1）#textEncoding        UTF-8 （找到此行，将前面的#号去掉）

      2）文件末尾添加以下代码（注意：目录为相应解压目录）：

cidToUnicode    Adobe-GB1       c:/xpdftest/xpdf/xpdf-chinese-simplified/Adobe-GB1.cidToUnicode

unicodeMap      ISO-2022-CN     c:/xpdftest/xpdf/xpdf-chinese-simplified/ISO-2022-CN.unicodeMap

unicodeMap      EUC-CN          c:/xpdftest/xpdf/xpdf-chinese-simplified/EUC-CN.unicodeMap

unicodeMap  GBK     c:/xpdftest/xpdf/xpdf-chinese-simplified/GBK.unicodeMap

cMapDir         Adobe-GB1       c:/xpdftest/xpdf/xpdf-chinese-simplified/CMap

toUnicodeDir                    c:/xpdftest/xpdf/xpdf-chinese-simplified/CMap

3）代码实现，为了方便我们运行命令行的xpdf，我们封装了一个XpdfParams类

package com.qianyan.xpdf;

public class XpdfParams {

	private String convertor = "";
	private String layout = "";
	private String encoding = "";
	private String source = "";
	private String target = "";
	
	public String getConvertor() {
		return convertor;
	}
	public void setConvertor(String convertor) {
		this.convertor = convertor;
	}
	public String getLayout() {
		return layout;
	}
	public void setLayout(String layout) {
		this.layout = layout;
	}
	public String getEncoding() {
		return encoding;
	}
	public void setEncoding(String encoding) {
		this.encoding = encoding;
	}
	public String getSource() {
		return source;
	}
	public void setSource(String source) {
		this.source = source;
	}
	public String getTarget() {
		return target;
	}
	public void setTarget(String target) {
		this.target = target;
	}
	
	public String getCMD(){
		return convertor + " " + layout + " " + encoding + " " + source + " " + target + " ";
	}
	
}

我们来看TestRuntime类，该类通过java的运行类查找我们配置好的xpdf.exe然后根据要求转换pdf到txt文本中。

package com.qianyan.xpdf;

import java.io.IOException;

public class TestRuntime {

	public static void main(String[] args) throws IOException{
		XpdfParams xparam = new XpdfParams();
		xparam.setConvertor("D:\\program files (x86)\\xpdf\\bin64\\pdftotext.exe");
		xparam.setEncoding("-enc UTF-8");
		xparam.setSource("E:\\lucene.pdf");
		xparam.setTarget("E:\\lucene.txt");
		String cmd = xparam.getCMD();
		Runtime.getRuntime().exec(cmd);
	}
}

解析PDF到此结束，下章我们来学习对HTML的解析 。