GROBID库：安装与使用
文章目录
-
-
-
-
- 一.grobid安装与使用
-
- (1) grobid介绍
- (2) 程序安装
- (3) cmd运行
- (4) Web端使用
- 二.grobid调用：PDF批量处理
-
- (1) API脚本获取
- (2) 调用方法
- 三.BAD_INPUT_DATA] PDF to XML conversion failed with error code: 99报错原因
-
- (1) 报错原因
- (2) 解决建议
-
-
-
一.grobid安装与使用
(1) grobid介绍
官方文档：Introduction - GROBID Documentation
GROBID(或GROBID)是GeneRation Of BIbliographic Data。
GROBID是一个机器学习库，用于提取、解析和重构原始文档(如PDF)，将其转换为结构化的XML/TEI编码文档，特别关注技术和科学出版物。最初的开发始于2008年，当时只是一个爱好。2011年，该工具已经以开源的形式提供。GROBID的工作从一开始就作为副业项目稳定下来，预计将继续下去。
(2) 程序安装
根据官方英文文档 Install GROBID - GROBID Documentation
我们执行下列操作进行程序安装。
进入GitHub grobid下载Release版本
完成解压后 进入解压文件的目录
命令行输入 gradlew clean install
JAVA_HOME路径无效 检查后发现分号的存在
删除分号后 问题解决。
开始自动安装相关的jar文件。
安装完成后 出现提示
(3) cmd运行
运行方式在文档GROBID service - GROBID Documentation中
在命令行输入gradlew run 开始运行程序
并不需要加载至100% 当看见进度条不动时 前往浏览器测试API
默认端口是 http://localhost:8070/
进入后我们可以看见如下的界面：
(4) Web端使用
界面较为简单 以PDF为例 我向其上传了一篇pdf 解析其头部信息 正常出现结果
二.grobid调用：PDF批量处理
(1) API脚本获取
不愿使用Web端直接解析PDF的话 则需要通过API的调用了。
事实上使用API也是开发者提倡的 毕竟使用Web端不能够进行批量处理
那么 对于成千上万的PDF文件 这样的处理方式就太低效了。
官网提供了三类API的调用接口 包括Python Java Node.js 我选择使用Python。
在此下载项目文件 https://github.com/kermitt2/grobid-client-python
进行解压 其中存在多个py文件
以及一些测试案例
我们阅读其提供的readme.md文件，总结如下
- 这个Python客户端可以在文件系统上用并发方式处理给定目录中的一组PDF，并将结果写入给定的输出目录，或是在其他python程序中调用它。
- 使用该客户端首先需要先在命令行运行gradlew run，并能够成功打开Web端口。
- 使用该客户端不需要其他依赖库，但需python3.5及以上版本。
(2) 调用方法
官方文档内提供了两种使用该客户端的方式
1.命令行
进入cmd命令行环境
进入python客户端的路径
cd grobid_client_python
初始化环境
python3 setup.py install
执行解析命令 需要给定输入路径，输出路径与解析方式。
grobid_client.py --input C:/Users/*/Desktop/in --output C:/Users/*/Desktop/out processFulltextDocument
2.python脚本
或是直接运行如下代码(注意包与包直接的相对位置)
能够读取resources/in下的所有pdf文件
在resources/out中生成相应的xml文件
from grobid_client.grobid_client import GrobidClient
if __name__ == "__main__":
client = GrobidClient(config_path="./config.json")
client.process("processFulltextDocument", "resources/in", output="resources/out/", consolidate_citations=True, tei_coordinates=True, force=True)
三.BAD_INPUT_DATA] PDF to XML conversion failed with error code: 99报错原因
(1) 报错原因
使用Windows系统访问Web端会出现如下的报错
通过在github中进行查询 并重新看了一小时的官方文档 发现该程序已不再支持Windows平台
程序的开发者在社区讨论时说支持三个平台对于他们来说工作量过大。
官方文档：
Windows related issues
Grobid is developed and tested on Linux. macOS is also supported, although some components might behave slighly different due to the natural incompatibility of Apple with the rest of the world and the availability on some proprietary fonts on this platform.
Windows, unfortunately, is currently not anymore supported, due to lack of experience and time constraints. We recommend Windows users to use the Grobid Docker image (documented here) and call the system via API using one of the various grobid clients.
Windows相关问题
Grobid是在Linux上开发和测试的。macOS也被支持，尽管由于苹果与世界其他地方的自然不兼容以及该平台上的一些专有字体的可用性，一些组件的行为可能略有不同。
不幸的是，由于缺乏经验和时间限制，目前不再支持Windows。我们建议Windows用户使用Grobid Docker映像(这里有文档)，并使用各种Grobid客户端之一通过API调用系统。
开发者回复：
现场链接: [BAD_INPUT_DATA] PDF to XML conversion failed with error code: 99 · Issue #166 · kermitt2/grobid · GitHub
grobid is not supported to work on Windows. Unfortunately three platforms are too many for us, I recommend you to run it using docker.
grobid不支持在Windows上工作。不幸的是，三个平台对我们来说太多了，我建议您使用docker运行它。
(2) 解决建议
1.购置一台苹果电脑
2.通过Docker / VMware Workstation等程序构建如 Linux 的虚拟环境
参考博文GROBID库：PDF to XML conversion failed with error code: 99报错解决
3.寻找功能相似 能够提取解析PDF的机器学习库。