英伟达推出AI手术模拟器Cosmos 3-H-Dreams基于真实胆囊切除术录像训练
英伟达推出AI手术模拟器Cosmos3-H-Dreams 基于真实胆囊切除术录像训练
2026年10月21日 20:17
财联社10月21日讯 英伟达 近日发布基于真实手术录像训练的实时AI手术模拟器Cosmos3-H-Dreams。借助这款新模拟器，手术 机器人 有望先在虚拟“腹腔”中练习、测试，但其距离临床应用仍需大量验证。
AI芯片 巨头 英伟达 于当地时间10月20日发布手术模拟器Cosmos3-H-Dreams。手术模拟器是在虚拟环境中还原手术场景的工具，可让相关练习和测试无需在真人身上进行。
英伟达 在开源AI平台Hugging Face上发布官方博客称， 据其所知，这是首款基于临床胆囊切除术录像训练、可根据器械操作实时生成画面的手术模拟器。 借助Cosmos 3平台和英伟达流式推理加速库FlashDreams，该模型在单块RTX PRO 6000 GPU上即可交互运行。
模型的训练素材，来自英国手术 机器人 企业CMR Surgical旗下Versius手术平台的临床手术视频和机械臂运动数据。
这并非英伟达与CMR Surgical首次合作。英伟达与CMR Surgical今年8月联合发表的技术论文显示，英伟达已将前代产品Cosmos-H-Dreams接入Versius手术 机器人 的医生操控台。
对于下一步，英伟达在博客中提出的研究方向包括 将模拟范围扩展至完整手术流程、联合外科医生建立模拟效果的评测基准，以及用其训练可自主完成特定手术步骤的 机器人 。
不过，英伟达明确表示，上述仍属研究方向，Cosmos3-H-Dreams目前只是研究工具，尚未经过患者诊疗验证。
手术仿真场景升级
该模拟器的前代产品Cosmos-H-Dreams应用于达芬奇研究套件（dVRK），模拟的是背景相对简单的实验台缝合任务。达芬奇研究套件是由退役的达芬奇手术 机器人 改造而成的开源科研平台，供高校和研究机构开发、测试手术 机器人 技术。
两代产品的思路一脉相承： 传统模拟器要靠物理公式一步步计算组织如何变形，而这类AI模拟器则是“看录像学经验”，通过大量手术视频学会预判器械操作后的画面变化。
思路虽然相同，但Cosmos3-H-Dreams的学习素材从实验台上的缝合练习视频换成了真实的腹腔手术录像，模型需要模拟的画面也复杂得多。
英伟达指出，体内器械轻微一动，组织就会被拉伸，反光随之移动，器官可能被遮挡，手术烟雾还会干扰视野。加之模型是逐段接续生成画面的，细小偏差会不断叠加，时间一长，模型生成的器械和器官画面都可能“走样”。
英伟达还强调，画面逼真只是第一关，模拟器还必须准确响应器械的移动、旋转和夹取指令，否则就只是一段逼真的视频，无法充当可交互的模拟环境。
针对这些难题，新模型以一个160亿参数的基础模型为底座，聚焦抓钳和电钩两件常用器械，可接收双臂位置、夹钳开合等28项操作信号。
据英伟达介绍，为兼顾实时性与稳定性，团队先训练一个“教师模型”学习手术画面的变化规律，再将其能力迁移给可实时逐段生成画面的“学生模型”。随后，学生模型以自身生成的画面为基础继续训练，并接受教师模型和一个评判模型的指导，以减少误差的逐步累积。
（文章来源：财联社）