文档#结构化抽取#OCR

MonkeyOCR:小参数多模态文档解析模型

轻量多模态模型解析 PDF:三步还原公式表格,中英文超 Gemini 2.5 Pro。

项目资料

GitHub Ecosystem
仓库地址github.com/Yuliang-Liu/MonkeyOCR
许可证
Apache-2.0
主语言
Python
星标
6,650
核查时间
2026-10-06

以上快照资料以核查当日为准,可能随版本或运营策略变化。

解析复杂版面 PDF,模块化 OCR 链条繁琐,通用多模态大模型效率又不高。MonkeyOCR 是基于轻量多模态大模型的文档解析模型,论文已被《中国科学:信息科学》接收。它按「结构—识别—关系」三步解析 PDF 或图片,生成 Markdown、版面标注 PDF 和块级 JSON。GitHubDaily 在 2025 年 6 月推荐过它;仅就 OmniDocBench 而言,README 称其中英文成绩超过 Gemini 2.5 Pro、GPT-4o 等更大模型。本仓库是 v1 系列,2026 年 7 月项目组另发了 MonkeyOCRv2,用新的文档原生视觉骨干加 7 亿参数解析器,刷新了 17 语种文档解析的开源最好成绩,v1 仍在同步维护。

核心功能

  • SRR 三元范式:版面检测、内容识别、顺序预测三步走,替代多工具流水线,省掉逐个拼接 OCR 组件的麻烦。
  • 双规格模型:pro-3B 与更轻的 pro-1.2B,README 称后者在中文文档上比旧 3B 版高出约 7.4%,推理速度快约 36%、整体性能差距仅约 1.6%,在 olmOCR-Bench 上还比 Nanonets-OCR-3B 高 7.3%。
  • 中英文档:评测覆盖论文、财报、试卷、杂志等九类页面,中英文分别给出成绩。
  • 本地部署:Gradio、FastAPI、Docker、AWQ 量化,本地 GPU 推理,无外部 API 依赖。
  • 三种输出格式:一次解析同时拿到纯文本 Markdown、带版面标注框的 PDF、以及逐块坐标与内容的 JSON,方便分别用于阅读、校对和下游程序解析。

典型使用场景

  • 含大量公式的论文、教材 PDF 批量转成 Markdown。
  • 财报、报纸等多栏版面的结构化提取与阅读顺序还原。
  • 把解析服务化,批量产出 RAG 语料。

性能数据

README 给出的推理速度(单位:页/秒,RTX 4090,不同页数的 PDF 批量测试):

模型50 页100 页500 页1000 页
MonkeyOCR-pro-3B0.9720.9690.9861.006
MonkeyOCR-pro-1.2B1.1941.3141.4421.434

数据来自项目 README 的 Inference Speed 一节,未注明具体测试日期;3090、A6000、H800 几种显卡的数字各不相同,选型前建议照着 README 的完整表格核对。

快速上手

  1. 环境安装见 docs/install_cuda_pp.md;
  2. 下载权重并解析:
python tools/download_model.py -n MonkeyOCR-pro-3B
python parse.py input_path

也提供 Gradio Demo 和 FastAPI 接口两种上手方式:不想写代码的可以直接跑 Gradio 页面上传文件看效果;要接入自己系统的,用 FastAPI 服务按文档传文件即可拿到 Markdown、版面 PDF 和 JSON 三种输出,Docker 镜像和 AWQ 量化版本都在仓库 README 里给了对应命令。

小结

适合要在本地解析中英文 PDF 的开发者、科研与数据团队,尤其适合 RAG 备料;如果只是偶尔扫描几份文档,云端 OCR API 可能比自建 GPU 环境更省事。注意:源码采用 Apache 2.0,但 v1 权重仅用于学术研究与非商业评估,商用需书面授权;推理需 NVIDIA GPU,部分显卡 Docker 镜像需修补;拍照、手写、繁体与多语种支持尚不完整——这些恰好是 2026 年 7 月发布的 v2 重点补的短板;本仓库为 v1 主线,截至 2026-10-06 约 6.6k 星,仍在维护。整体看,它是一套可控、可本地部署的文档解析方案,中文公文、财报类场景尤其适合;如果要的是把英文论文整篇译成双语对照 PDF 而不只是抽取结构,BabelDOC 更贴合需求。论文发布于 2025 年 6 月(arXiv:2506.05218),项目持续活跃,issue 区回应也算及时,适合愿意自己趟一遍环境坑的技术团队长期使用。