用xpdf和pdfbox来处理中文PDF文档及其比较（转载）

我在以前的项目中使用的是pdfbox，在读取中文文档时可以读出大部分的文字，但是在数字、分页等地方还是不可避免的出现乱码。于是我在网上搜索，看有没有什么解决方法，看到有说法：

“PDFBox看起来非常的方便，它的API功能强大。甚至能和Lucene进行无缝的结合。但是它有一个致命的弱点，就是它不支持中文。要提取中文的文本，可以采用另一个非常出色的工具xpdf。”

于是我决定自己比较一下这两种方法处理中文pdf文档时在时间性能、读取效果等各个方面的效果。

 

一、关于XPDF和PDFBOX

1.xpdf

xpdf只是一个软件，通过java采用命令行调用，并获取输出结果，如此来说使用简单，但是相当受限，如：无法跨平台，无法处理特定格式（表格等），无法处理图片和其他附件。这种调用必定限制了它的灵活性。

2.pdfbox

pdfbox（一个BSD许可下的源码开放项目）是一个为开发人员读取和创建PDF文档而准备的纯Java类库。

 

二、XPDF的配置

1.工具包下载

点这里 下载

我下载的是： xpdf-3.02pl4-win32.zip

另外还需要一个语言包： xpdf-chinese-simplified.tar.gz

2.工作路径设置

参考资料点这里

在本文中以 c:\xpdftest\xpdf 作为xpdf的工作路径。

将 xpdf-3.02p14-win32.zip 解压到 c:\xpdftest\xpdf 下。

将 xpdf-chinese-simplified.tar.gz 解压到 c:\xpdftest\xpdf\xpdf-chinese-simplified 下。

解压后的目录结构如图1所示：

3.修改配置文件

为了启用中文简体语言包，必须将 xpdf-chinese-simplified 目录下的 sample-xpdfrc 文件进行如下配置，并将其另存为 xpdfrc 文件 。

注意：此文件为配置文件，而且名称必须是 xpdfrc 。如果是别的名字，即使调用 pdftotext.exe 时，传入 ” -cfg xpdfrc2 ” 来告诉 xpdf 配置文件的名字，好像 pdftotext.exe 也并没有使用这个配置文件。所以为了减少误解，请您将配置文件直接命名为 xpdfrc 。

• 修改 sample-xpdfrc 文件之一

在文件后面 加上一段话 ：

#----- begin Chinese Simplified support package (2004-jul-27)

cidToUnicode     Adobe-GB1  C:/xpdftest/xpdf/xpdf-chinese-simplified/Adobe-GB1.cidToUnicode

unicodeMap ISO-2022-CN     C:/xpdftest/xpdf/xpdf-chinese-simplified/ISO-2022-CN.unicodeMap

unicodeMap EUC-CN       C:/xpdftest/xpdf/xpdf-chinese-simplified/EUC-CN.unicodeMap

unicodeMap GBK      C:/xpdftest/xpdf/xpdf-chinese-simplified/GBK.unicodeMap

cMapDir      Adobe-GB1  C:/xpdftest/xpdf/xpdf-chinese-simplified/CMap

toUnicodeDir                 C:/xpdf/chinese-simplified/CMap

#displayCIDFontTT   Adobe-GB1  /usr/..../gkai00mp.ttf

#----- end Chinese Simplified support package

#----- begin Chinese Simplified support package (2004-jul-27)

cidToUnicode     Adobe-GB1  C:/xpdftest/xpdf/xpdf-chinese-simplified/Adobe-GB1.cidToUnicode

unicodeMap ISO-2022-CN     C:/xpdftest/xpdf/xpdf-chinese-simplified/ISO-2022-CN.unicodeMap

unicodeMap EUC-CN       C:/xpdftest/xpdf/xpdf-chinese-simplified/EUC-CN.unicodeMap

unicodeMap GBK      C:/xpdftest/xpdf/xpdf-chinese-simplified/GBK.unicodeMap

cMapDir      Adobe-GB1  C:/xpdftest/xpdf/xpdf-chinese-simplified/CMap

toUnicodeDir                 C:/xpdf/chinese-simplified/CMap

#displayCIDFontTT   Adobe-GB1  /usr/..../gkai00mp.ttf

#----- end Chinese Simplified support package

 

注意：路径要跟自己配置的一样。

• 修改 sample-xpdfrc 文件之二

另外，配置文件中原先没有加上一个“ textPageBreaks ”控制。为了避免这个分页符号，我们需要在 sample-xpdfrc 文件 “ text output control ”下面 加上一段话 ：

# If set to "yes", text extraction will  insert  page
# breaks  (form feed characters) between pages.  This
# defaults to "yes".
textPageBreaks      no

# If set to "yes", text extraction will  insert  page
# breaks  (form feed characters) between pages.  This
# defaults to "yes".
textPageBreaks      no

 

设置 textPageBreaks 为 no 的意思是：在 PDF 文档的两页之间不加入分页符号。 之所以这样，是因为这个符号有时候会引起 SAX 解析 XML 上的困难。

 

 

• 修改 sample-xpdfrc 文件之三

配置文件中原先把 textEncoding 注释了。这样默认的字符集是 Latin1 。我们必须打开它，并且就是指定 textEncoding 为 UTF-8 ，而不是 GB2312 。即修改这句话 ：

textEncoding        UTF-8

textEncoding		UTF-8

 

三、PDFBOX的配置

请点这里 查看PDFBOX的配置。

 

四、工程调用示范

在自己的常用工作环境下新建一个工程PdfTest，并在此工程下新建一个包pdfToText。

此包包括三个类：

TestPdfToText.java  包括Main函数，调用并测试xpdf和pdfbox对PDF文档的处理效果。

PdfboxToText.java   用pdfbox来处理PDF文档。

XpdfToText.java       用xpdf来处理PDF文档。

目录结构如图2所示：

在C盘根目录下有061231.pdf，在工程中相应设置路径进行测试，以下是源代码 ：

TestPdfToText.java

package pdfToText;
/**
 * 功能描述：测试用XPDF和PDFBOX来读取中文PDF文件生成TXT文件的效果
 * @author Emily
 * @Create 2010-03-07
 */
public class TestPdfToText {

    /**
     * @param args
     */
    public static void main(String[] args) {
        String rootPath = "c:\\061231";
        //pdf文件路径
        String pdffile = rootPath + ".pdf";
        //用xpdf生成的txt文件路径
        String xpdfToTxtfile = rootPath + "_xpdf.txt";
        //用pdfbox生成的txt文件路径
        String pdfboxToTxtfile = rootPath + "_pdfbox.txt";
        //XPDF
        try{
            long begin = System.currentTimeMillis();
            XpdfToText xpToTxt = new XpdfToText(pdffile);
            xpToTxt.toTextFile(xpdfToTxtfile);
            long end = System.currentTimeMillis();
            System.out.println("xpdf\t cost:\t" + (end - begin) + " ms");
        }catch(Exception e){
            e.printStackTrace();
        }
        //PDFBOX
        try{
            long begin = System.currentTimeMillis();
            PdfboxToText pbToTxt = new PdfboxToText(pdffile);
            pbToTxt.toTextFile(pdfboxToTxtfile);
            long end = System.currentTimeMillis();
            System.out.println("pdfbox\t cost:\t" + (end - begin) + " ms");
        }catch(Exception e){
            e.printStackTrace();
        }

    }
}

package pdfToText;
/**
 * 功能描述：测试用XPDF和PDFBOX来读取中文PDF文件生成TXT文件的效果
 * @author Emily
 * @Create 2010-03-07
 */
public class TestPdfToText {

	/**
	 * @param args
	 */
	public static void main(String[] args) {
		String rootPath = "c:\\061231";
		//pdf文件路径
		String pdffile = rootPath + ".pdf";
		//用xpdf生成的txt文件路径
		String xpdfToTxtfile = rootPath + "_xpdf.txt";
		//用pdfbox生成的txt文件路径
		String pdfboxToTxtfile = rootPath + "_pdfbox.txt";
		//XPDF
		try{
			long begin = System.currentTimeMillis(); 
			XpdfToText xpToTxt = new XpdfToText(pdffile);
            xpToTxt.toTextFile(xpdfToTxtfile);
            long end = System.currentTimeMillis(); 
            System.out.println("xpdf\t cost:\t" + (end - begin) + " ms");
		}catch(Exception e){
			e.printStackTrace();
		}
	    //PDFBOX
	    try{
	    	long begin = System.currentTimeMillis();
	    	PdfboxToText pbToTxt = new PdfboxToText(pdffile);
	    	pbToTxt.toTextFile(pdfboxToTxtfile);
	    	long end = System.currentTimeMillis(); 
            System.out.println("pdfbox\t cost:\t" + (end - begin) + " ms");
	    }catch(Exception e){
	    	e.printStackTrace();
	    }
	  
	}
}

PdfboxToText.java

 

package pdfToText;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileWriter;
import java.io.IOException;
import org.pdfbox.pdfparser.PDFParser;
import org.pdfbox.pdmodel.PDDocument;
import org.pdfbox.util.PDFTextStripper;

public class PdfboxToText {
    private String filePath;
    public PdfboxToText(String filePath){
        this.filePath = filePath;
    }
    public String getTextFromPdf(){
        String result = null;
        FileInputStream is = null;
        PDDocument document = null;
        try {
            is = new FileInputStream(filePath);
            PDFParser parser = new PDFParser(is);
            parser.parse();
            document = parser.getPDDocument();
            PDFTextStripper stripper = new PDFTextStripper();
            result = stripper.getText(document);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (is != null) {
                try {is.close();}catch(IOException e){e.printStackTrace();}
            }
            if (document != null) {
                try{document.close();}catch (IOException e){e.printStackTrace();}
            }
        }
        return result;
    }

    public void toTextFile(String filePath){
        String pdfContent = getTextFromPdf();
        try{
            File f = new File(filePath);
            if(!f.exists()){
                System.out.println("not exist");
                f.createNewFile();
            }
            BufferedWriter output = new BufferedWriter(new FileWriter(f));
            output.write(pdfContent);
            output.close();
        }catch (Exception e) {
        e.printStackTrace();
        }
    }
}

package pdfToText;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileWriter;
import java.io.IOException;
import org.pdfbox.pdfparser.PDFParser;
import org.pdfbox.pdmodel.PDDocument;
import org.pdfbox.util.PDFTextStripper;

public class PdfboxToText {
	private String filePath;
	public PdfboxToText(String filePath){
		this.filePath = filePath;
	}
	public String getTextFromPdf(){
		String result = null;
		FileInputStream is = null;
        PDDocument document = null;
        try {
            is = new FileInputStream(filePath);
            PDFParser parser = new PDFParser(is);
            parser.parse();
            document = parser.getPDDocument();
            PDFTextStripper stripper = new PDFTextStripper();
            result = stripper.getText(document);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (is != null) {
                try {is.close();}catch(IOException e){e.printStackTrace();}
            }
            if (document != null) {
            	try{document.close();}catch (IOException e){e.printStackTrace();}
            }
        }
        return result;
	}

	public void toTextFile(String filePath){
		String pdfContent = getTextFromPdf();
		try{
			File f = new File(filePath);
			if(!f.exists()){
				System.out.println("not exist");
				f.createNewFile();
			}
			BufferedWriter output = new BufferedWriter(new FileWriter(f));
			output.write(pdfContent);
			output.close();
		}catch (Exception e) {
		e.printStackTrace();
		}
	}	
}

 

XpdfToText.java

package pdfToText;

import java.io.File;
import java.io.IOException;

public class XpdfToText {
    // PDF文件名
    private File pdffile;
    // 转换器的存放位置，默认在c:\xpdftest\xpdf下面
    private String CONVERTOR_STORED_PATH = "c:\\xpdftest\\xpdf\\";
    // 转换器的名称，默认为pdftotext
    private String CONVERTOR_NAME = "pdftotext";

    // 构造函数，参数为pdf文件的路径
    public XpdfToText(String pdffile) throws IOException {
        this.pdffile = new File(pdffile);
    }

    // 将pdf转为文本文档，参数为目标文件的路径
    public void toTextFile(String targetfile) throws IOException {
        toTextFile(targetfile, true);
    }

    // 将pdf转为文本文档，参数1为目标文件的路径，
    // 参数2为true则表示使用PDF文件中的布局
    public void toTextFile(String targetfile, boolean isLayout)
            throws IOException {
        String[] cmd = getCmd(new File(targetfile), isLayout);
        Runtime.getRuntime().exec(cmd);
    }

    // 获取PDF转换器的路径
    public String getCONVERTOR_STORED_PATH() {
        return CONVERTOR_STORED_PATH;
    }

    // 设置PDF转换器的路径
    public void setCONVERTOR_STORED_PATH(String path) {
        if (!path.trim().endsWith("\\"))
            path = path.trim() + "\\";
        this.CONVERTOR_STORED_PATH = path;
    }

    // 解析命令行参数
    private String[] getCmd(File targetfile, boolean isLayout) {

        // 命令字符
        String command = CONVERTOR_STORED_PATH + CONVERTOR_NAME;
        // PDF文件的绝对路径
        String source_absolutePath = pdffile.getAbsolutePath();
        // 输出文本文件的绝对路径
        String target_absolutePath = targetfile.getAbsolutePath();
        // 保持原来的layout
        String layout = "-layout";
        // 设置编码方式
        String encoding = "-enc";
        String character = "GBK";
        // 设置不打印任何消息和错误
        String mistake = "-q";
        // 页面之间不加入分页
        String nopagebrk = "-nopgbrk";
        // 如果isLayout为false，则设置不保持原来的layout
        if (!isLayout)
            layout = "";
        return new String[] { command, layout, encoding, character, mistake,
                nopagebrk, source_absolutePath, target_absolutePath };
    }
}

package pdfToText;

import java.io.File;
import java.io.IOException;

public class XpdfToText {
    // PDF文件名
    private File pdffile;
    // 转换器的存放位置，默认在c:\xpdftest\xpdf下面
    private String CONVERTOR_STORED_PATH = "c:\\xpdftest\\xpdf\\";
    // 转换器的名称，默认为pdftotext
    private String CONVERTOR_NAME = "pdftotext";

    // 构造函数，参数为pdf文件的路径
    public XpdfToText(String pdffile) throws IOException {
    	this.pdffile = new File(pdffile);
    }

    // 将pdf转为文本文档，参数为目标文件的路径
    public void toTextFile(String targetfile) throws IOException {
    	toTextFile(targetfile, true);
    }

    // 将pdf转为文本文档，参数1为目标文件的路径，
    // 参数2为true则表示使用PDF文件中的布局
    public void toTextFile(String targetfile, boolean isLayout)
            throws IOException {
        String[] cmd = getCmd(new File(targetfile), isLayout);
        Runtime.getRuntime().exec(cmd);
    }

    // 获取PDF转换器的路径
    public String getCONVERTOR_STORED_PATH() {
        return CONVERTOR_STORED_PATH;
    }

    // 设置PDF转换器的路径
    public void setCONVERTOR_STORED_PATH(String path) {
        if (!path.trim().endsWith("\\"))
            path = path.trim() + "\\";
        this.CONVERTOR_STORED_PATH = path;
    }

    // 解析命令行参数
    private String[] getCmd(File targetfile, boolean isLayout) {

        // 命令字符
        String command = CONVERTOR_STORED_PATH + CONVERTOR_NAME;
        // PDF文件的绝对路径
        String source_absolutePath = pdffile.getAbsolutePath();
        // 输出文本文件的绝对路径
        String target_absolutePath = targetfile.getAbsolutePath();
        // 保持原来的layout
        String layout = "-layout";
        // 设置编码方式
        String encoding = "-enc";
        String character = "GBK";
        // 设置不打印任何消息和错误
        String mistake = "-q";
        // 页面之间不加入分页
        String nopagebrk = "-nopgbrk";
        // 如果isLayout为false，则设置不保持原来的layout
        if (!isLayout)
            layout = "";
        return new String[] { command, layout, encoding, character, mistake,
                nopagebrk, source_absolutePath, target_absolutePath };
    }
}

 

五、测试结果和总结

1.txt文件大小

一个大小为74KB的PDF文档经处理为txt文档后，大小明显减小。

经xpdf处理后生成了10KB的txt文件。

经pdfbox处理后生成了12KB的txt文件。

 

2.时间性能

从运行结果来看，xpdf处理的速度明显大大快于pdfbox的处理速度，几乎是1/10。

如图3所示。

3.读取效果

在设置了保持原PDF文档的布局的情况下，xpdf读取的效果如图4所示

 若不保持原PDF文的的布局，xpdf读取的效果如图5所示

经pdfbox读取的效果如图6和图7所示。

 

 4.分析总结

从以上调用结果可以发现，在时间性能和空间性能上，xpdf都明显优于pdfbox 。在最关键的读取效果上，pdfbox会自动在某些读取文字中加入一些格式，比如回车、空格等，造成了更不好的效果。至于在某些PDF文档的格式会读出乱码的情况上，两种方法读出的乱码都是比较一致的，这应该是由于这两个方法的缺陷造成的。

综上所示，如果不要求很高的移植性的话，采用xpdf应该是比较好的方法 。