提取文档中的文本内容（使用PDFBox处理PDF文档）

由于本节内容与“跟不上时代潮流”的博客里的一篇文章非常类似。在这里谨转载一下。今天看了内容后很是激动，动手编了一下，把电脑里所有的pdf转了一遍，发现用adobe自带的工具转更方便，虽然pdfbox更快一些。

粘一下sourceforge里对pdfbox的描述：

PDFBox is a Java PDF Library. This project will allow access to all of the components in a PDF document. More PDF manipulation features will be added as the project matures. This ships with a utility to take a PDF document and output a text file.

刚看到这段话得时候很是激动，以为现在的版本可以识别表格和图片了。但最后一句话又很让人泄气，居然是个text file，呵呵。不过没关系，对于本书的学习，还是很有帮助的。

感谢“跟不上时代潮流”的分享。

转载自http://www.cnblogs.com/hejycpu/archive/2009/01/19/1378380.html

1、使用PDFBox处理PDF文档

PDF全称Portable Document Format，是Adobe公司开发的电子文件格式。这种文件格式与操作系统平台无关，可以在Windows、Unix或Mac OS等操作系统上通用。
PDF文件格式将文字、字型、格式、颜色及独立于设备和分辨率的图形图像等封装在一个文件中。如果要抽取其中的文本信息，需要根据它的文件格式来进行解析。幸好目前已经有不少工具能帮助我们做这些事情。
2、PDFBox的下载

最常见的一种PDF文本抽取工具就是PDFBox了，访问网址http://sourceforge.net/projects/pdfbox/，进入如图7-1所示的下载界面。读者可以在该网页下载其最新的版本。本书采用的是PDFBox-0.7.3版本。PDFBox是一个开源的Java PDF库，这个库允许你访问PDF文件的各项信息。在接下来的例子中，将演示如何使用PDFBox提供的API，从一个PDF文件中提取出文本信息。
3、在Eclipse中配置

以下是在Eclipse中创建工程，并建立解析PDF文件的工具类的过程。
（1）在Eclipse的workspace中创建一个普通的Java工程：ch7。
（2）把下载的PDFBox-0.7.3.zip解压。
（3）进入external目录下，可以看到，这里包括了PDFBox所有用到的外部包。复制下面的Jar包到工程ch7的lib目录下（如还未建立lib目录，则先创建一个）。
l bcmail-jdk14-132.jar
l bcprov-jdk14-132.jar
l checkstyle-all-4.2.jar
l FontBox-0.1.0-dev.jar
l lucene-core-2.0.0.jar
然后再从PDFBox的lib目录下，复制PDFBox-0.7.3.jar到工程的lib目录下。
（4）在工程上单击右键，在弹出的快捷菜单中选择“Build Path->Config Build Path->Add Jars”命令，把工程lib目录下面的包都加入工程的Build Path。
4、使用PDFBox解析PDF内容

在刚刚创建的Eclipse工程中，创建一个ch7.pdfbox包，并创建一个PdfboxTest类。该类包含一个getText方法，用于从一个PDF中获取文本信息，其代码如下。
import java.io.BufferedWriter;
import java.io.FileInputStream;
import java.io.FileWriter;

import org.pdfbox.pdfparser.PDFParser;
import org.pdfbox.util.PDFTextStripper;


public class PdfParser {

/**
* @param args
*/
// TODO 自动生成方法存根

public static void main(String[] args) throws Exception{
FileInputStream fis = new FileInputStream("F:\\task\\lerman-atem2001.pdf");
BufferedWriter writer = new BufferedWriter(new FileWriter("F:\\task\\pdf_change.txt"));
PDFParser p = new PDFParser(fis);
p.parse();
PDFTextStripper ts = new PDFTextStripper();
String s = ts.getText(p.getPDDocument());
writer.write(s);
System.out.println(s);
fis.close();
writer.close();

}
}
下面是自己按照书上的例子写的代码。
1package TestPDF.pdfbox;
2
3import java.io.File;
4import java.io.FileOutputStream;
5import java.io.IOException;
6import java.io.OutputStreamWriter;
7import java.io.Writer;
8import java.net.URL;
9
10import org.apache.lucene.analysis.standard.StandardAnalyzer;
11import org.apache.lucene.document.Document;
12import org.apache.lucene.index.IndexWriter;
13import org.apache.lucene.index.Term;
14import org.apache.lucene.search.IndexSearcher;
15import org.apache.lucene.search.PhraseQuery;
16import org.apache.lucene.search.Query;
17import org.apache.lucene.search.ScoreDoc;
18import org.apache.lucene.search.TermQuery;
19import org.apache.lucene.search.TopDocCollector;
20import org.apache.lucene.search.TopDocs;
21import org.pdfbox.pdmodel.PDDocument;
22import org.pdfbox.searchengine.lucene.LucenePDFDocument;
23import org.pdfbox.util.PDFTextStripper;
24
25public class Test {
26
27 public void getText(String file) throws Exception{
28 //是否排序
29 boolean sort = false;
30 //pdf文件名
31 String pdfFile = file;
32 //输入文本文件名称
33 String textFile = null;
34 //编码方式
35 String encoding = "UTF-8";
36 //开始提取页数
37 int startPage = 1;
38 //结束提取页数
39 int endPage = Integer.MAX_VALUE;
40 //文件输入流，输入文本文件
41 Writer output = null;
42 //内存中存储的PDF Document
43 PDDocument document = null;
44
45 try{
46 try{
47 //首先当作一个URL来加载文件，如果得到异常再从本地系统装载文件
48 URL url = new URL(pdfFile);
49 document = PDDocument.load(url);
50 String fileName = url.getFile();
51
52 if(fileName.length() > 4){
53 //以原来pdf名称来命名新产生的txt文件
54 File outputFile = new File(fileName.substring(0, fileName.length()-4) + ".txt");
55 textFile = outputFile.getName();
56 }
57 }catch(Exception e){
58 //如果作为URL装载得到异常则从文件系统装载
59 document = PDDocument.load(pdfFile);
60 if(pdfFile.length() > 4){
61 textFile = pdfFile.substring(0, pdfFile.length() - 4) + ".txt";
62 }
63 }
64 //文件输出流，写入文件到textFile
65 output = new OutputStreamWriter(new FileOutputStream(textFile),encoding);
66 //PDFTextStripper来提取文本
67 PDFTextStripper stripper = new PDFTextStripper();
68 //设置是否排序
69 stripper.setSortByPosition(sort);
70 //设置起始页
71 stripper.setStartPage(startPage);
72 //设置结束页
73 stripper.setEndPage(endPage);
74 //调用PDFTextStripper的writeText提取并输出文本
75 stripper.writeText(document, output);
76 }finally{
77 if(output != null){
78 output.close();
79 }
80 if(document != null){
81 document.close();
82 }
83 }
84 }
85
86 /**
87 * test Lucene with pdfbox
88 * @throws IOException
89 */
90 public void LuceneTest() throws IOException{
91
92 String path = "D:\\index";
93 String pdfpath = "D:\\index\\Lucene.Net基本用法.pdf";
94
95 IndexWriter writer = new IndexWriter(path, new StandardAnalyzer(),true);
96 //writer.setMaxFieldLength(10240);
97 //LucenePDFDocument返回由PDF产生的Lucene Document
98 Document d = LucenePDFDocument.getDocument(new File(pdfpath));
99 //System.out.println(d);
100 //写入索引
101 writer.addDocument(d);
102 writer.close();
103
104 //读取d:\index下的索引文件，建立IndexSearcher
105 IndexSearcher searcher = new IndexSearcher(path);
106 //对索引的contents Field进行关键字Query的查找
107 Term t = new Term("contents","优");
108 Term m = new Term("contents","化");
109 PhraseQuery q = new PhraseQuery();
110 q.add(t);
111 q.add(m);
112 //Query q = new TermQuery(t);
113 TopDocCollector co = new TopDocCollector(10);
114 searcher.search(q,co);
115
116 Document document;
117 TopDocs docs = co.topDocs();
118 ScoreDoc[] doc = docs.scoreDocs;
119 //System.out.println(doc.length);
120
121 for(int i=0;i<doc.length;i++){
122 System.out.println("文档编号：" + doc[i].doc);
123 //document = searcher.doc(doc[i].doc);
124 }
125 }
126 /**
127 * @param args
128 */
129 public static void main(String[] args) {
130 // TODO Auto-generated method stub
131 Test test = new Test();
132 try{
133 //test.getText("D:\\index\\Lucene.Net基本用法.pdf");
134 test.LuceneTest();
135 }catch(Exception e){
136 e.printStackTrace();
137 }
138 }
139}
140