新人工智能框架实现医学通用与专科模型高效协作

新人工智能框架实现医学通用与专科模型高效协作

7月30日，香港科技大学教授陈浩团队联合美国哈佛医学院、威尔康奈尔医学院、香港中文大学、香港大学、中山大学等机构，成功研发出一套名为“通用-专科协作”（GSCo）的人工智能框架。该框架能够使医学通用基础模型与专科模型在疾病诊断任务中高效协作。相关成果发表于《自然-生物医学工程》。

该研究显示，GSCo在医学影像诊断、视觉问答及放射报告生成等多项任务中的表现，均显著优于单独运行的通用或专科模型。同时，该框架大幅降低了训练医学模型以适应新临床任务的研发成本。此项成果有望加速医学基础模型在日常临床工作中的应用。

GSCo框架的构建流程。研究团队供图，下同

论文共同第一作者、香港科技大学博士生何肃南介绍，医疗AI模型长期面临两难困境：通用基础模型虽基于海量医学语料训练，具备多任务适应性和跨模态识别能力，但在特定疾病诊断上精度不足；专科模型虽能提供精准的临床推理和专业判断，却过于专门化，面对新任务或迁移至新医院时需重新训练，且无法与临床医生进行自然语言推理，对新影像诊断任务的准确率会显著下降。此外，为每项新任务重复训练通用模型不仅算力成本高昂，还受限于患者隐私保护规定，数据无法离开医院。因此，单独使用任何一类模型均难以满足实际临床需求。

为应对上述挑战，研究团队开发了全新的协作式框架GSCo。该框架基于陈浩团队此前开源的医学通用模型MedDr，利用多元医学影像模态和超过200万个样本对其深度训练，同时构建了一组轻量级专科模型，仅需单张消费级GPU即可完成训练。在双向协作中，专科模型负责在推理过程中比对相似过往病例并提供诊断预测，MedDr则作为“核心决策者”，整合专科模型提供的证据与自身医学知识，做出最终诊断。

为验证GSCo的性能，团队在32个公开数据集、总计约26万张医学影像上进行了全面评测，涵盖影像诊断、视觉问答和放射报告生成等任务。结果表明，MedDr的表现优于RadFM、LLaVA-Med及Med-Flamingo等现有医学通用模型，而GSCo在所有内部及外部基准测试中均排名第一，胜过十个最先进的视觉基础模型。

在一项皮肤病变诊断测试中，团队利用HAM10000皮肤镜数据集训练专科模型，并通过GSCo框架将其部署到全新的BCN20000数据集上进行测试。结果显示，GSCo的诊断得分为0.8420（满分1.0），显著优于通用模型MedDr在零样本条件下的0.7545分，以及专科模型单独运行的最佳成绩0.8292分。

主题：人工智能框架