英伟达、UT-Austin发布Realtime-Bench，实时互动任务难倒GPT
英伟达、UT-Austin发布Realtime-Bench，实时互动任务难倒GPT-6
2026年11月04日 14:2
大模型能看懂复杂的网页结构，也能理解各种游戏的通关规则。
但如果让它们在稍纵即逝的窗口期内抢购一张热门门票，或者在俄罗斯方块游戏中，赶在方块落地前完成旋转和移动，它们还能应对自如吗？
为了测试模型的实时能力，英伟达和 UT-Austin 等机构的研究人员提出了 Realtime-Bench，用它测试了 12 种前沿模型。当环境实时推进时，表现最好的模型 (GPT-6-Astra) 也只有 44% 的任务成功率。
论文标题：Realtime-Bench: Can Frontier Models Solve Real-Time Interactive Problems?
论文链接：https://arxiv.org/abs/2610.22155
项目主页：https://realtimeagents.org
Huggingface paper: https://huggingface.co/papers/2610.22155
实时交互中，世界不会等待模型
抢票时，模型要盯住不断变化的界面，在有限的时间内做出决策并完成操作。这类实时交互任务要求模型具备三种核心能力：
1. RT-Perceive：观察环境变化。 判断当前状态、信息是否过时，以及行动机会是否仍然存在。
2. RT-Deliberate：根据时间调整推理。 决定还能思考多久，以及继续思考是否值得。
3. RT-Act：把握行动时机。 判断应该等待还是立即操作，并选择执行时仍然有效的行动。
模型要先发现放票，再根据购买窗口还剩多久来控制思考时间，及时下单。任何一个环节出问题，都可能错过机会。
围绕些核心能力，Realtime-Bench 把模型放进持续变化的环境中，考察它能否根据时间约束完成观察、推理和行动。
让行动的早晚影响结果
Realtime-Bench 的任务都具有两个特点：环境会随着时间自行变化，而完成目标的机会存在时间限制。
即使操作正确，执行得太早或太晚，也可能导致任务失败。
如下图所示，在实时拍卖中，模型要在倒计时结束前出价，还要应对对手随时加价；在贪吃蛇中，蛇会持续前进，模型必须及时转弯，才能吃到苹果。
图 1：Realtime-Bench 的典型任务示例 Realtime-Bench 的 30 个网页任务和 20 个游戏任务都包含这类时机要求，覆盖出行、电商、服务、安全，以及街机、解谜、策略和模拟等八类场景。
图 2：Realtime-Bench 的任务分布 模型推理时，环境的时间怎么算
Realtime-Bench 对比了模型在以下 3 种环境推进方式的表现:
Wall Clock，即按推理花的真实时间推进，模型花多久生成响应，环境就向前推进多久。
Paused Clock，即模型推理完环境才推进，推理过程中环境状态冻结。这种推进方式作为理想化的对照，便于区分模型的失败是由于推理能力的不足还是受到时间限制的影响。
Token Clock，即按模型生成的 token 数推进时间，生成的 token 越多，行动就越晚执行。这种推进方式去除了 API 服务延迟的影响，便于观测模型本身的实时能力。
图 3：Realtime-Bench 在三种时钟协议下评估模型实时交互能力。 Wall Clock 按实际推理耗时推进环境；Paused Clock 在推理期间暂停环境；Token Clock 按生成的 token 数推进模拟时间，排除实际服务速度的影响，评估模型的时间感知能力。
实验结果：真实时间下，模型仍难以完成实时任务
Realtime-Bench 测试了 12 个前沿模型，涵盖三类：标准异步模型，包括 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1、Claude Opus 5、Gemini 3.8 Flash、DeepSeek V4.1 Flash 和 Kimi-K3；实时流式模型，即专门为实时交互优化延迟的一系列大语言模型，包括 GPT-Realtime-2、Gemini 3.1 Flash live 和 Gemini 3.8 Live；以及决策模型，即只输出决策而不输出自由文本的低延迟模型，包括 OpenAI Decisions 和 Jev 1.13。
由于实时交互需要稳定性，一次失败之后就无法重来（比如抢票失败后无法重新尝试），Reatime-Bench 使用 Pass^3 作为主要指标。Pass^3 即模型在同一任务的三次重复测试中均成功的概率，衡量了模型在实时任务上的可靠性。
当环境按照实际推理延迟推进（Wall Clock）时，表现最好的 GPT-6 Astra 在高推理强度下的 Pass^3 也仅为 36%。大多数模型的延迟超过 1 秒，虽然 Jev 实现了小于 1 秒的延迟，但 Pass^3 仅为 8%。
这些结果表明，低延迟本身不足以保证可靠的实时表现。模型既要及时响应，也要具备解决任务所需的推理能力。