登录

澳鹏数据发布ExamOCRBench:以端到端整页判分基准检验多模态模型真实能力


速读:多模态模型在文字识别、文档解析等单项任务上持续进步,但教育场景对模型提出的是一体化要求:从一张完整试卷中读懂题目、识别学生真实作答、依据页面证据完成判分。 聚焦这一挑战,澳鹏数据正式发布ExamOCRBench——一个以端到端整页判分为核心的多任务评测基准,为教育AI的能力评估提供更贴近真实课堂的检验框架。 但真实批改与单项能力测试之间存在结构性差异:在判断一道题的答案是否正确之前,模型必须先定位对应问题,识别学生的最终有效作答,区分废弃内容与有效内容,并理解作答上下文。 澳鹏数据发布ExamOCRBench可辅助验证菲尔兹奖级猜想;
2026年10月29日 09:19

当前,大模型在一系列高难度任务上已展现突破性能力:数学推理上,可辅助验证菲尔兹奖级猜想;科研写作上,可产出达到学位论文水准的文本;分子科学上,可在数秒内推演候选化合物结构。在多模态方向,大模型同样进展迅速,在OCR、文档解析等视觉文档理解任务上的表现已接近甚至超过实用水平。然而澳鹏数据最新评测显示:在批改一张小学三年级试卷这一基础任务上,五款主流模型的整页判分准确率仅为 33.22%–58.18%,这表明高阶推理能力并未线性迁移至真实世界的文档理解场景。

多模态模型在文字识别、文档解析等单项任务上持续进步,但教育场景对模型提出的是一体化要求:从一张完整试卷中读懂题目、识别学生真实作答、依据页面证据完成判分。现有评测难以系统检验这一端到端能力。聚焦这一挑战,澳鹏数据正式发布ExamOCRBench——一个以端到端整页判分为核心的多任务评测基准,为教育AI的能力评估提供更贴近真实课堂的检验框架。

澳鹏数据ExamOCRBench:以端到端整页判分为核心的多任务评测基准

端到端整页判分:单项能力基准与复合任务的差距

过去数年间,多模态模型在文字识别、版面理解、目标定位、视觉问答等单项基准上持续刷新纪录,自动批改亦成为教育科技领域的活跃研究方向。但真实批改与单项能力测试之间存在结构性差异:在判断一道题的答案是否正确之前,模型必须先定位对应问题,识别学生的最终有效作答,区分废弃内容与有效内容,并理解作答上下文。这一链路中任一环节出错,都会导致判分偏差。

更为隐蔽的风险在于:模型可能默认修正学生的拼写错误、将划掉的答案视为有效作答,或在听力音频等关键证据缺失时强行判分。核心问题不在于模型能否求解题目,而在于能否正确维系"题目 - 学生最终作答 - 判分决定"三者间的逻辑关系。

真实试卷构建:整页全对仍是模型短板

澳鹏ExamOCRBench基于中国小学2,464套真实试卷页面构建,覆盖语文、数学、英语三个学科,包含不同拍摄条件、手写涂改、不完整作答与复杂布局。判分任务关联22,636个小题,以语言文字填空、选择题、简答或解答题为主,覆盖十类细分题型。标注采用页面、大题、小题、答题区域的层级结构,忠实保留学生最终可见答案,包括拼写错误与涂改痕迹。参考答案经人工核验与多阶段质检后形成标签。共享页面共派生24,928个任务实例。

基准核心指标PageScoreAccuracy要求页面内所有可正常判分单元全部判对,一处出错即整页不计为正确。在参与评测的五个模型中,GPT-6 Astra以58.18%领先,GPT-5.6 Sol为53.41%,Qwen3.8-Max、Claude Opus 5和Doubao-Seed-2.1-Pro分别为42.32%、36.75%和33.22%。表现最好的模型仍有四成以上页面无法做到全部判对,这一结果印证了真实、复杂的课堂场景给当前多模态模型带来的实质性挑战;SafetyUnitRecall进一步检验模型能否在内容缺失等条件下拒绝判分,当前最高召回率为41.04%,同样显示出模型能力仍有较大提升空间。

主题:模型|澳鹏数据|多任务评测基准