左手推理成本暴降96%，右手性能反超大模型！当小模型学会了何时求助
编辑｜Panda
现在的顶级 AI 确实强大，新成果接连不断，尤其是在数学领域，甚至还攻克了一个千禧年问题。当然，有些争议，但确实强。
然而，顶级 AI 也不便宜：Astra API 标准价为每百万 token 输入 10 美元、输出 50 美元；Fast 模式按适用费率的 2 倍计费。若单次请求输入超过 27.2 万 token，则整个请求将按长上下文价格计费，输入价格翻倍至 20 美元/百万 token，输出价格则上涨至 75 美元/百万 token！
作为对照，本文后面还会提到的一个 4B 小模型的输出价格可低至 0.08 美元，与顶级 AI 相差成百上千倍。
能力的天花板一路抬升，调用它的单价也不遑多让。于是问题来了：面对日益膨胀的账单，我们该怎么办？
火思动力（Pyromind）近期开源的 Pyr oD ash 给了一个有点反直觉的答案： 让小模型自己来决定什么时候 该呼叫大 模型 。
论文标题：PyroDash: Cost-Efficient Token-Level Small-Large Language Model Collaborative Inference
技术报告：https://arxiv.org/abs/2607.20327
并且他们也已经通过实践证明了这一策略的有效性：在五个数学推理基准上，当设定更倾向于节省成本时，小模型平均每 100 道题才叫一次大模型， 估算总成本从纯大模型的 49.36 美元降到 1.78 美元 ，不到原来的三十分之一，准确度却没下降多少；而如果更看重准确度， 小模型+大模型组合平均准确率 6 4.04% ，反而比纯大模型的 57.68% 高 6.36 个百分点，且成本还低了两成。并且，这些方案的准确度均高于 RouteLLM、GlimpRouter 这类主流路由方案。
五项数学推理测试中的总成本与平均准确度 为什么选择这条路？Pyromind 创始人兼 CEO Kevin Ding 表示：「PyroDash 最初源于我们自己的需求，因为 Vibe Coding 实在是太贵了。」团队为持续追求代码质量而搭的自动化测试 loop 里，token 消耗呈指数级增长，他们意识到这个成本不能这么持续下去，于是开始研究 大小模型协同 。
并且，Pyromind 还不只是为了省钱，还涉及到一个更宏大的路线判断。该公司创始人兼 CEO Kevin Ding 在最近一期播客里，把 2025 年下半年以来关于「AI 下半场」的讨论概括成了一道选择题：
一条路是继续沿着预训练走下去，ASI 最终以一个极其庞大的、中心化的模型形态到来，绝大多数场景的问题都由它解决且效果足够好；
一条路是用大量不同能力层次的 AI 智能体组成最终的 ASI，即一个「Agent 蜂群」。
他选了后一条路，理由是：「我们这个世界上需要被 AI 解决的问题和场景，无论是从当下时间点看，它就已经是无穷无尽的了。」新场景还在不断产生，场景本身也不是静态的。在这样的前提下， 想用一个有限参数的模型去泛化掉无限的场景，至少在 Transformer 架构上，他认为挑战太大 。
来自「十字路口 Crossing」 持类似判断的不只他一个。英伟达研究院的 Peter Belcak 等人去年发过一篇立场论文《小语言模型才是智能体 AI 的未来》，主张 agent 里的大多数调用其实是重复且格式固定的窄任务，小模型足够胜任、更适配、也更经济 ，而在确实需要通用对话能力的地方，混合调用多个模型的异构系统才是自然选择。更早一些，Matei Zaharia 等人在伯克利 BAIR 的博客里提出「从模型到复合 AI 系统的转变」，观察是 最前沿的结果越来越多来自多组件系统而非单体模型 。到了今年 8 月，Gartner 的分析师 Will Sommer 也表示， 在可预见的未来里，不存在一个可靠又经济的、适用于所有场景的模型 。
宏观判断有了，工程上的问题却出现了：如果未来不是一个超级模型，那么多个模型之间到底怎么配合？谁来决定什么时候该用谁？
小模型先干，干不动了再叫大模型帮忙
PyroDash 的定义是一种成本感知、token 级的大小模型协同推理范式 ，整套系统有三个部件：一个可训练的小模型、一个保持冻结的大模型，以及负责执行交接的 协同引擎（Collaborate Engine，简称 CE） 。
PyroDash 协同推理架构 其工作方式可以概括为： 小模型优先、至多一次、单向不返回 。
当一个请求进来时，CE 先把它连同固定的系统提示交给小模型，小模型以流式方式开始生成并持续吐出 token。
如果它能独立完成，结果直接返回用户，全程不产生任何大模型调用。
如果它在某一步判断自己接不住了，就输出一个专属的控制 token（论文记作 τ_off）。CE 检测到这个信号后立刻停止小模型解码，把控制 token 剥掉，将原始问题和此前形成的部分推理轨迹一次性打包交给冻结的大模型，由后者沿着已有轨迹把答案写完。控制权不再交回小模型，一个请求最多只会产生一次大模型 API 调用。
论文给出了一个例子。GSM8K 有一道题问：种一棵柠檬树花了 90 美元，每年结 7 个柠檬、每个卖 1.5 美元，浇水施肥每年 3 美元，多少年后开始赚钱？小模型没有立刻求助，而是先把它化简成一个年净收入的算式，7×1.5−3=7.5 美元，然后发出 τ_off。大模型接手时看到的不再是一段自然语言题面，而是一个已经算好的年净收入，于是列出 7.5n > 90，解得 n > 12，指出第 12 年只是回本、第 13 年才开始盈利。
论文附录里还有另外几个案例。比如 AIME 2024 的一道对数方程组题，小模型先做换元把三个对数约束整理成三个线性方程，并把目标改写成 |4a + 3b + 2c|，做完这步化简才交接；Minerva 的一道材料科学题，小模型给出体心立方晶胞的密度公式并指出目标可由此变形得到，把单位换算和数值计算留给了大模型。也有完全不交接的时候，比如「花瓶里有 4 朵玫瑰，大丽花比玫瑰多 7 朵，一共多少朵花」，小模型算完 15 就结束了，控制 token 从未出现。
这些轨迹说明交接不等于放弃。小模型已经完成的那部分工作会作为上下文进入大模型的续写，而不是被丢掉重来。
对企业来说，这个架构还有一个更实际的性质。 因为协同引擎拼接的是上下文，所以它对大模型几乎没有要求。 Kevin Ding 在播客也说：「开源、闭源都可以，我们也不需要它的梯度。」大模型在这里只是一个续写端点，既不用重训，也不用暴露内部 logits，CE 需要的只是 token 检测、上下文打包和一个标准的文本补全接口。至于被训练的那一端为什么是 4B，是因为这个尺寸刚好能在端侧（比如一台 Mac）上轻松跑起来。
为什么不是在开始前就选好模型 ？
把决策放进生成过程 是 PyroDash 与行业主流做法最大的不同。
提到大小模型配合，通常人们会先想到 路由 ，比如 FrugalGPT 把多个 API 组织成级联，RouteLLM 用偏好数据训练一个矩阵分解路由器，Hybrid LLM 按预测难度分配请求。这一类方法的共同点是决策发生在解码开始之前：阅读分析输入→判断难度→将请求路由给某一模型。
然而，这一策略也有问题：真实任务的难度往往不写在输入里。一道题开头可能只是信息提取，中途才需要复杂判断；请求级路由在解码前就把整道题分配掉了，之后无论生成过程中出现什么新信息，系统都没有调整的余地。级联方案虽可在打分后升级，但每次调用产生的是一个独立的、请求级的答案，升级意味着从头重新生成一遍，而不是从失败的那个位置继续。
更细的一档思路是 把决策移进生成过程 ，学术界这两年已经出了好几个方案，比如 CITER 的策略是训练一个成本感知的 MLP 路由器，逐 token 决定该由谁生成；Co-LLM 是把交替解码学成隐式的模型选择；今年 1 月的 RelayLLM 则是让小模型主动发出指令请求大模型生成一段有界长度的内容，然后把控制权交回小模型；GlimpRouter 完全免训练，用每个推理步首个 token 的熵作为不确定性信号，必要时反复调用大模型。
RelayLLM 框架示意图 粒度更细了，代价也随之出现。逐 token 评估路由器意味着每一步都有额外开销；反复切换要求服务循环同时协调两个模型并维护各自的解码状态；而在无状态的商用 API 之下，每次重新介入都要把不断增长的上下文再发一遍，几段很短的大模型输出会变成数次完整的 prefill 计费。此外，Co-LLM 没有显式的成本目标，RelayLLM 惩罚的是大模型 token 的占比，而不是真实账单里分开计价的 prefill 与 decoding。
至于看起来很像的 投机解码 ，它解决的其实是另一个问题。从 Leviathan 等人的原始方案到 SpecInfer、Medusa、MagicDec，这条线优化的是延迟和吞吐，且大模型要对每一个草稿块打分，通常需要访问它的输出概率甚至权重。大模型全程在场，小模型也就没有独立完成简单请求的机会。
PyroDash 正是针对这些代价来的： 决策完全内化在小模型里，不需要外挂路由器；交接单向且至多一次，不来回切；只用标准文本续写接口，不碰大模型内部。
把账单写进奖励函数
那么，难点在哪里呢？Pyromind 认为，在于 小模型如何知晓该在哪一步举手 。
原始小模型的词表里根本没有 τ_off 这个 token，更谈不上把它和「能力边界在这里」关联起来。PyroDash 的解答是 一条三阶段的渐进式管线，并且全程只训练小模型 。
PyroDash 三阶段渐进式训练流程 支撑训练的是 Pyromind 构建的 EasyHard-24k 数据集，其中包含 24061 条标准 messages 格式的样本。
数据集地址：https://huggingface.co/datasets/pyromind/easyhard-24k
该数据集的构造中，难易不是按基准测试成绩的静态标签划分的，而是相对于将来真正做决策的那个小模型定义的，即 用基础小模型跑一遍每条样本 ，答对的进 easy 子集，答错但能重构出正确推理轨迹的进 hard 子集。这个「模型相对难度」比静态标签更贴合协同推理的语义，因为 easy 样本标记的是当前小模型可以独立完成的任务，hard 样本标记的是真正需要求助的候选。
hard 样本还有个陷阱：基础小模型在这些题上的原始轨迹本身是错的，直接拿来做 SFT 目标，等于把导致失败的那条路径重新训练回模型里。
Pyromind 的做法是 用大模型重构一条能导向正确答案的简洁思维链 ，再在这条正确轨迹里动态插入一到四个候选交接位置 。同时数据会被扩展成两种提示条件：一份不含协同提示、轨迹里也没有任何 τ_off，用于保住小模型原有的独立推理行为；另一份加上协同提示，其中 easy 目标依然不含 τ_off，这样既能把求助能力开放给模型，又不会鼓励它没事就叫大模型。
EasyHard-24k 数据集统计数据 第一阶段是 控制 token 的嵌入学习 。为避免完全随机初始化带来的不稳定，τ_off 的输入与输出嵌入会被初始化为一组锚点 token 嵌入的均值加高斯噪声，锚点选的是句号、换行、结束符这类代表自然断点的标记，噪声标准差取 0.1。这个设计能把新 token 放在嵌入空间里「边界」的附近，某种意义上它本来就是一个断点。训练时嵌入层和输出头全量微调，主干挂临时 LoRA 适配器联合更新，训完丢弃适配器，只把 τ_off 对应的那几行参数合并回基础模型。
第二阶段是 行为冷启动 ，在两份语料的混合上做一轮 SFT，让同一个模型同时学会两种模式：没有协同提示时照常独立推理，有协同提示且题目超出能力时允许发出交接信号。此时模型已经会「表达交接」，但那些插入位置只是行为起点，还不是成本与准确度意义上的最优位置。
第三阶段才是这套方法真正的分水岭。 PyroDash 用成本感知的 GRPO 做策略对齐，训练时执行与推理时完全相同的单向交接路径 ：一旦某条 rollout 里出现 τ_off，训练环境就复现打包、终止、调用冻结大模型、拼接联合输出的完整流程，然后按最终答案是否正确、以及这条联合轨迹的成本给出奖励。
奖励 的形式是准确度减去 λ 倍的归一化成本，其中归一化成本是这次协同推理的绝对开销除以「同一道题完全交给大模型」的基线开销。
关键成本怎么算 ：它不仅包括小模型自己生成的 token，还包括交接时小模型此前所有输出作为 prefill 进入大模型的输入成本，以及大模型后续解码的成本。
也就是说，小模型在交接前多写的每一个 token，都要在账单上被算两次：一次按小模型计费，一次作为大模型的输入上下文计费。这个细节把此前 token 占比类指标掩盖掉的部分开销明确写进了训练目标。当归一化成本小于 1，说明协同比纯大模型便宜；大于 1 则说明冗余生成或无效交接反而抬高了账单，这条轨迹会在组内相对优势里吃亏。
λ 是一个可调节的参数：越小，系统越愿意用大模型换准确度；越大，则越强调压低调用和成本。
正如 Kevin Ding 所说：「RL 不只是用来提升一个模型本身的能力，也可以用来训练整个系统怎么分工，在效果和成本之间找到更合适的平衡。」
实际效果如何？
实验中，Pyromind 用 Qwen3.5-4B 作为小模型、GLM-5.2-FP8 作为大模型，在五个数学推理基准上进行了评估。详细结果如下：
成本换算基准（美元/每百万 Token）：小模型输入 0.05、输出 0.08；大模型输入 0.90、输出 2.86。
可以看到，训练时 λ 取不同的值，就会得到性格完全不同的模型，企业可以按任务价值和预算选择。
先看省钱那一端（ λ=0.6 ）。小模型平均每 100 道题才叫一次大模型，五个基准的估算总成本从纯大模型的 49.36 美元降到 1.78 美元，不到原来的三十分之一。代价仅仅是平均准确率比纯大模型低了 3 个百分点左右。
再看效果好那端（ λ=0.0 5 ）。这一档的平均准确度达到 64.04%，反而比纯 GLM-5.2-FP8 的 57.68% 高出 6.36 个百分点，同时成本还低了两成。
准确率为什么会反超？因为此时几乎每道题都发生了交接——大模型接手时看到的不是原始题面，而是小模型已整理好的推理。这就改变了它进入问题时的状态。这说明： 「让小模型学会求助」还有成 本优势之外的 额外价值 。
再看看居中的 λ=0.1 ，它的平均准确度高于 RouteLLM 和 GlimpRouter 这两条主流路由基线，成本却只有它们的十分之一到七分之一。两条基线都把超过 75% 的解码 token 交给了大模型，而 PyroDash 只在必要的那一刻交出去一次。这也佐证了「 把决策移 进生 成过程 」路线的有效性。
那么，这些收益中，GRPO 贡献多大呢？Pyromind 也进行了消融实验。
只做完前两阶段监督微调的版本，平均准确度停在 46.25%；加上第三阶段的成本感知 GRPO 之后，准确度跳到 64.04%。这说明， 冷启动教会的是行为，强化学习学到的才是判断 。
总结起来， PyroDash 不是传统意义上的请求级路由，而是用强化学习让小模型在生成过程中学会何时交接，从而在效果与成本之间动态取舍 。对开发者来说，它的吸引力在于把「什么时候该调用更贵的模型」的决策过程，变成了可训练、可调参、可复现的模型能力。
推理的下半场：从选择模型到提升编排能力
回到开头的路线选择。PyroDash 虽然走的第二条路，但也并不否定第一条。
「基模其实越好，对 Worker Model 来说压力就越小。」Kevin Ding 认为这套架构本身就是在基座模型之上打的一个补丁，基座演进对它是好事而不是威胁。他还表示：「生产环境有一个很现实的约束，效果、成本和隐私很难简单靠调用更大的模型同时解决，有些任务适合直接调用基座模型，有些更适合在本地小模型上完成，还有一些需要两者协作。 基座模型越强，反而会出现更多路由、协同和成本优化的强化学习需求。 」
而从更长的时间轴上看，PyroDash 或许还能改变「 推理 」的定义方式。
过去两年，推理侧的优化就三条路：缩小模型（量化、蒸馏）、加快解码（投机解码、PagedAttention）、分流任务（各类路由）。
这三条路有一个共同的默认前提：推理是一次性的、原子化的：一个请求进来，由某一个模型从头到尾生成完，系统选择用哪个模型，以及让这个模型跑得更快更省。
PyroDash 这类工作动摇了这一前提，其中包含三个变化：
决策的位置从请求开始之前移到了生成过程之中；
决策的主体从外部的路由器变成了模型自身；
优化的目标从 token 占比、FLOPs、延迟这些代理指标，换成了按 prefill 与 decoding 分开计价的真实账单。