一、pdfminer 读取PDF
官方文档:http://www.unixuser.org/~euske/python/pdfminer/
这里针对python3
1、模块安装:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pdfminer3k
2、读取PDF text文本源码
import importlib
import sys
import time
from pdfminer.pdfparser import PDFParser, PDFDocument
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LAParams
from pdfminer.pdfinterp import PDFTextExtractionNotAllowed
importlib.reload(sys)
time1 = time.time()
text_path = r'E:/YHSSB.pdf'
def parse():
"""
解析PDF文本,并保存到TXT文件中
:return:
"""
fp = open(text_path, 'rb')
# 用文件对象创建一个PDF文档分析器
parser = PDFParser(fp)
# 创建一个PDF文档
doc = PDFDocument()
# 连接分析器,与文档对象
parser.set_document(doc)
doc.set_parser(parser)
# 提供初始化密码,如果没有密码,就创建一个空的字符串
doc.initialize()
# 检测文档是否提供txt转换,不提供就忽略
if not doc.is_extractable:
raise PDFTextExtractionNotAllowed
else:
# 创建PDF,资源管理器,来共享资源
rsrcmgr = PDFResourceManager()
# 创建一个PDF设备对象
laparams = LAParams()
device = PDFPageAggregator(rsrcmgr, laparams=laparams)
# 创建一个PDF解释其对象
interpreter = PDFPageInterpreter(rsrcmgr, device)
# 循环遍历列表,每次处理一个page内容
# doc.get_pages() 获取page列表
for page in doc.get_pages():
interpreter.process_page(page)
# 接受该页面的LTPage对象
layout = device.get_result()
# 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象
# 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等
# 想要获取文本就获得对象的text属性,
for x in layout:
# if (isinstance(x, LTTextBoxHorizontal)):
with open(r'YHSSB.txt', 'a', encoding='utf-8') as f:
try:
results = x.get_text()
print(results)
f.write(results + "\n")
except:
pass
if __name__ == '__main__':
parse()
time2 = time.time()
print("总共消耗时间为:", time2 - time1)
运行结果:
对于一些报错没发读取信息,如果是找不相关字体,解决:
https://github.com/euske/pdfminer/tree/2103e5875ef04cfaf424b25d2fd0dc9535a90714/pdfminer/cmap
去下载对于的字体,放入 E:\test\virtualenv\venv3\Lib\site-packages\pdfminer\cmap 放入你的环境中,即可。
二、tabula读取PDF,转化excel表格等
1、模块安装:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tabula-py
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy
2、安装 java7/8 jdk(具体去Oracle官网下载)
安装教程也在我博客中: https://blog.csdn.net/MZP_man/article/details/96428561
3、 代码演示
# coding=gbk
import tabula
df = tabula.read_pdf(r"E:/YHSSB.pdf")
df_two = tabula.convert_into(r"E:/YHSSB.pdf", r"YHSSB3.xlsx", output_format='xlsx', java_options="-Dfile.encoding=UTF8")
print(df)
for indexs in df.index:
# 遍历打印企业名称
print(df.loc[indexs].values[1])
运行结果:
具体参数(java_options)的传递,参照:https://github.com/chezou/tabula-py/blob/master/README.md
三、pdfplumber 读取pdf
import pdfplumber
import pandas as pd
path = r'C:/Users/dcg/Desktop/YBNSRZZS.pdf'
with pdfplumber.open(path) as pdf:
for page in pdf.pages:
tables = page.extract_tables() # 获取表格信息
string = pdf_page.extract_text() # 获取PDF文本信息
for table in tables:
df = pd.DataFrame(table)
with pd.option_context('display.max_rows', 100, 'display.max_columns', 100):
print(df)