开源：SmolDocling-256M-preview 小模型完成更优的图像文档转换

SmolDocling 模型介绍

SmolDocling 是一种超紧凑的多模态图像-文本到文本模型（模型文件大小仅513M），专为高效的文档转换而设计。它通过生成一种名为 DocTags 的新通用标记格式，捕捉页面中所有元素的完整上下文和位置信息。与依赖大型基础模型或多模型组合的传统方法不同，SmolDocling 通过一个 256M 参数的视觉-语言模型实现了端到端的文档转换，能够准确捕捉文档内容、结构和空间位置。

主要特点

DocTags 格式：一种优化的文档标记格式，用于高效表示文档的完整内容和布局特性。
多模态处理：支持 OCR、布局保留、代码识别、公式识别、图表提取、表格识别等功能。
高效推理：在 A100 GPU 上每页平均推理时间为 0.35 秒，占用 VRAM 仅为 0.489 GB。
数据集扩展：贡献了多个新数据集，包括图表、表格、公式和代码识别任务的公开数据集。
性能优越：在多个任务上与更大规模的模型（如 Qwen2.5-VL）相比，表现出更高的性能，同时显著降低了计算需求。

技术要点归纳

应用

SmolDocling 模型作为一种高效的多模态文档转换工具，具有广泛的应用场景。以下是一些具体的应用领域和场景：

1. 学术研究

论文处理：自动转换学术论文为结构化的数字格式，提取图表、公式、表格和文本内容，便于研究人员进行数据挖掘和文献分析。
文献数字化：将扫描的文献转换为可编辑和可搜索的数字格式，支持大规模文献存档和检索。

2. 企业办公

合同管理：自动解析合同文档，提取关键条款和条件，支持合同审核和管理。
报告生成：将多页报告转换为结构化的数字格式，提取图表和数据，便于进一步分析和展示。
表格处理：自动识别和提取表格数据，支持数据导入和分析。

3. 出版行业

书籍数字化：将纸质书籍转换为电子书格式，支持多平台发布。
内容校对：自动识别和校对文本内容，提高出版质量。

4. 医疗行业

病历处理：自动解析病历文档，提取关键信息，支持医疗数据分析和患者管理。
研究报告分析：提取和结构化医疗研究报告中的图表和数据，便于进一步研究和应用。

5. 教育领域

教材数字化：将教材转换为数字格式，支持在线学习和教学资源管理。
作业批改：自动识别和批改学生作业中的图表和公式，提高教学效率。

6. 内容创作

图表和数据提取：从文档中提取图表和数据，支持内容创作者快速生成可视化内容。
代码和公式处理：自动识别和格式化代码和公式，便于技术文档的编写和分享。

7. 数字存档

历史文档数字化：将历史文档转换为数字格式，支持长期存档和检索。
多格式支持：支持多种输出格式（如 Markdown、HTML、JSON），便于不同平台的兼容和使用。

8. 其他应用场景

专利分析：自动解析专利文档，提取技术细节和图表，支持专利管理和分析。
表格和数据处理：自动识别和提取表格数据，支持数据分析和可视化。
化学和材料科学：提取分子结构和化学公式，支持化学和材料科学领域的研究。

总结

SmolDocling 通过其紧凑的模型架构和优化的 DocTags 格式，在多模态文档转换任务中展现了卓越的性能和效率。它不仅在多个任务上超越了更大规模的模型，还通过贡献丰富的公开数据集推动了文档理解领域的研究和应用。