120分钟,姚顺雨携团队回答关于混元的“任何问题”

图:腾讯首席AI科学家、混元大模型负责人姚顺雨
文|腾讯科技 晓静
11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。
AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的一种交流方式,任何用户都可以直接提问,嘉宾在评论区公开回答。
这也是混元团队首次在开发者社区的公开问答。过去不到一个月,混元接连发布了两款模型:11 月 4 日发布的 Hy4 首次跻身全球最强开源模型之列:在第三方评测机构 Artificial Analysis 的智能指数榜单上位列中国模型第二,在 Agent Arena 榜单上居开源模型首位。一周多以后发布的Hy4 flash,定位为“日常工作的极致性价比模型”,单任务成本仅为Hy4的二十分之一。
此时,距离混元今年 2 月重建预训练与强化学习基础设施,只过去了九个月。
混元在重建之初确立了模型追求实用性的三项原则:能力体系化,不做偏科的模型;评测真实性,以真实任务而非榜单分数检验模型;性价比追求,让智能用得起、用得好。
两个小时里,混元团队回答了将近100个问题,涉及模型规模、架构取舍、安全评估等方方面面。
省流版|划重点
下一代Hy模型将继续扩大规模,但大模型不一定比小模型更聪明
“做得扎实的小模型也能超过更大的模型”。不过,混元仍然相信规模法则,将继续训练更大的模型,同时通过后训练提高现有模型的能力。
模型训练仍然需要人的Taste,数据质量最终要靠实验检验
高质量数据没有统一标准。无论是人类专家还是智能体,数据设计和清洗都需要大量工作,最终要看实验结果。评估模型也不能只依赖单一排行榜,需要结合内部测试、第三方评估和实际用户反馈。
MoE不是越稀疏越好,减少激活参数也有可能明显损害模型能力
过度稀疏的架构会占用大量GPU显存,却无法充分利用算力。在总参数量固定的情况下,进一步削减激活参数,可能无法通过提高稀疏度来弥补性能损失。
大规模强化学习仍是重点,尤其是复杂任务的准确性和可靠性
正在增加高难度训练数据,改进奖励机制和长上下文管理,并将继续推进面向科学研究的强化学习。
不迷信排行榜,训练数据好不好,最终要靠实验检验
判断模型表现不能只看某个排行榜,要综合内部测试、公开评测和用户反馈。对于数据质量,“验证数据质量最好的办法是做实验,最终还是看实证结果。”
AI写作越来越像套话,可能与训练目标有关
很多模型的写作质量下降可能与训练目标有关,希望模型“写得更像人,少一点套话”。创意写作、可读性和文风遵循都在改进计划中,“有时,一个好例子比五段文字更管用。”
01
模型规模、路线图与产品方向
Q: 字节跳动、Kimi等似乎都在往3万亿、甚至5万亿参数的超大模型推进,而你们还在7000亿。为什么?你们怎么看参数量对模型能力的实际影响?这方面有什么计划?
A: Hy3和Hy4已经表明,做得扎实的小模型也能超过更大的模型。它们的成本也更低,而且在这个过程中,你能学到更多、收获更多。

Q: Hy 4.5的参数规模会扩大到1.5万亿至2万亿吗?
A: 下一代Hy模型的规模肯定会进一步大幅扩大。
Q: 你们觉得,这些模型在当前规模下的能力已经到上限了吗?它们到底还能“吸收”多少智能?未来要让Hy模型更聪明,是不是必须增加参数?还是说,也能在相同规模下做出更强的模型,比如对Hy4进一步做后训练?
A: 我们认为Hy4还有很大的提升空间,尤其是通过后训练。我们正投入大量精力做大规模强化学习,也在继续改善用户体验和模型安全性。敬请期待后续更新!我们也计划训练更大的模型。我们非常相信scaling law,也会继续沿着这个方向努力。
Q: 这两款模型在训练时更侧重编程,还是面向通用任务?
A: 面向通用任务。
Q: 有可能推出Hy4-mini?
A: 会的!已经列入我们的路线图了,敬请期待。

Q: 有可能推出240亿到310亿参数的稠密模型吗?
A: 有可能,我们正在考虑。
Q: ① 会发布对标Qwen 27B稠密模型的小模型吗?② 会发布100B以下、专门做编程的模型吗?
A: 第一个,有可能。第二个,大概不会。
Q: 按我贴图里的分级,Hy4系列现在处于哪一级?未来的模型有可能达到哪一级?
A: 我个人认为是2.5级。

图:Google DeepMind于2023年提出的AGI六级能力框架,从任务范围和能力水平两个维度对AI系统进行分类。
Q:1. 腾讯在考虑35B-A3B之类的Flash-Lite模型吗?这种模型可以用在客服 机器人 、文档解析、分类、简单自动化等需要低延迟、高速度的任务里。2. iHC相比mHC和门控残差(GR)有什么优势?3. Hy4用了门控DSA,为什么Hy4 Flash选的是滑动窗口注意力(SWA)?4. 未来会考虑QSA等其他注意力机制吗?
A:1. 会,敬请期待一款前沿的Flash-Lite模型。2.相比mHC和GR,iHC简单得多,能以更低的成本达到相当的性能。3. SWA能把KV缓存缩小到原来的四分之一,大幅降低推理服务成本。4. 当然!我们愿意尝试各种架构创新。
Q: 你们会发布能在端侧设备上和LFM3(美国AI公司Liquid AI于2026年10月发布的小模型系列,主打在手机、电脑等端侧设备上高效运行)竞争的小模型吗?
A: 会。接下来还会有更多小模型。
Q: 有计划做面向24GB显存的模型吗?
A: 有,未来会发布。
Q: 持续学习(continual learning)的进展如何?
A: 这是个很有前景的方向,我们正在积极研究。
Q: 谢谢你们开放权重!我做计算生物学,拿Hy4 flash做了一个小测试:不用GNINA这类标准对接工具,分别在纯推理和可调用工具的设置下,让模型判断小分子配体在蛋白质上可能的结合位置和姿态。Hy4 flash的表现比我预期的好。相比其他开放模型,它较少能直接回忆起相关蛋白,但仅凭序列判断结合姿态的能力还可以。用上工具后,有几次甚至超过了Claude Sonnet和Haiku 5.5。未来你们会优先投入面向科学、尤其是生物学的强化学习吗?特别是Hy4 Flash到500B这个规模的模型。你们觉得中国实验室能在生物学上挑战Claude的领先地位吗?
A: 我们正在积极投入面向科学研究的强化学习,同时也高度重视安全。
Q: 你们有计划发布新的开源图像生成模型吗?HunyuanImage-3.0确实很棒,但对大多数本地设备来说体积太大了。与其做更大的模型,不如推出一款5B到12B规模的轻量级模型方便本地部署,现在社区非常需要更多开源图像模型。另外,我也希望能看到新款的HunyuanVideo。顺便问一下,你们的Discord服务器怎么回事?里面没人管理,几乎没什么真实互动,之前还被黑客入侵过一次。
A: 我们会考虑做个更小的图像模型。视频模型也请留意,很快就会有消息。
Q: 很喜欢你们的工作,谢谢!你们什么时候会开始用更结构化的数据集来做模型,而不只用文本?什么时候会把3D和视频训练结合起来,做一个真正可控的渲染引擎,免得每次生成都像抽奖?
A: 好建议!
02
模型架构的取舍:越稀疏就越高效吗?
Q: 不算Engram参数的话,Hy4 Flash的规格是156B-A12B(总参数156B、激活参数12B),激活比例7.7%;Qwen3.8-Flash是125B-A6B,激活比例4.8%;DSv4.1则是552B-A16B,激活比例2.9%,且在预填充(prefill)阶段激活参数还会降至8B(1.45%)。更高的激活比例对模型能力有多重要?你们测过156B-A8B或156B-A5B的质量会下降多少吗?
A: 好问题。我们针对不同的MoE稀疏度(sparsity)做过一系列扩展阶梯(scaling ladders)实验,得出的结论与《MAI-Thinking-1》论文基本一致:在激活参数量固定的前提下,提高稀疏度确实能提升计算效率,所以这条技术路线是行得通的。不过,156B-A8B或156B-A5B则完全是另一回事,这种权衡是在保持总参数量不变的同时削减激活参数量,我认为这会显著损害模型质量。激活参数量本质上决定了你的计算预算;提高稀疏度虽然能挽回一部分效率损失,但无法完全弥补,归根结底,削减激活参数就意味着更少的计算量,从而导致模型能力变弱。
Q: 我一直想看有团队把稀疏度推到新水平,比如做一个总参数200B、激活参数只有3B的模型,还可以加上Engram。效果也许很糟,也许很棒,但肯定会很快,我也认为它会比35B-A3B更聪明。MoE到底能做到多稀疏?
A: 我的看法是,过于稀疏的MoE架构对推理不太友好。它占用大量GPU显存,却没有充分利用算力(FLOPs)。在总参数量相同的情况下,我们完全可以提高激活参数量,同时保持相同的推理吞吐量。
Q:你说的对数据中心里高并行度的推理服务确实成立。不过,以目前的硬件条件来说,本地运行很不一样。Strix Halo和DGX Spark的内存带宽较低,跑A12B模型会慢,而QFN在这种条件下跑得还挺快。
A: 我理解你的意思。对于端侧模型,我们会采用不同的设计思路,让模型架构和端侧设备的GPU硬件配合得更紧密。
Q: 有可能推出采用循环结构的混合专家模型(looped MoE)吗?
A: 当然有可能。敬请期待。
Q: Hy4 Flash把KV缓存压缩到原来的约1/6至1/24,还把64B个Engram参数卸载到主机内存,让激活12B参数的模型在128GB以上的设备上跑得很快。但模型总参数有220B,即使用Q4量化也需要130GB以上,多数单显卡和64GB Mac用户还是跑不了。如果把这种架构缩小成一款总参数约30B–35B、激活参数3B–4B的Hy4-mini,Engram嵌入和恒等超连接(iHC)还能带来同样的收益吗?还是说它们要到200B以上才特别有效?
A: Engram和iHC给小模型带来的收益反而更大。
Q: 相对于约155.5B参数的神经网络主干,你们是怎么决定给Engram分配63.5B参数的?我记得Engram论文里的模型在占比约20%–25%时效果最好。你们自己的实验是否发现了某种稳定规律,从而选定这个比例?
A: 我们发现Engram参数占比的最优点,也就是U形曲线的最低点,大约在总参数量的三分之一。这里的总参数量包含Engram本身。
Q : 如果放手让Hy4自己运行,它现在能通过递归自我改进(RSI)做出下一代模型吗?你们有没有基准测试来衡量这种能力?除了让模型在限定时间和工具调用次数内自动实现方案,还会怎么评估它的自主性?
你们希望Hy系列往哪个方向发展?主要靠改进模型权重、构建更好的推理系统、积累持久的流程记忆,还是协调多个专门的智能体?这些都重要,但现阶段最侧重哪个?
A: 我们的递归自我改进能力还处于早期阶段,已开发了几项内部基准来评估其中的关键能力。
我们目前的重点是打好基础、提升模型智能,并与产品团队紧密合作,带来更好的用户体验。
Q: 你说Engram的最佳占比约为总参数量的三分之一。如果低于这个比例,模型能力就会下降吗?
A: 对,计算效率会降低。
Q: 在训练和架构方面,你们是怎么决定要改哪些网络层的?比如,从Hy4的原始架构出发,你们怎么选出哪些层对Flash来说必须保留?
A: Hy4 flash沿用了Hy4的iHC、门控MLA和DSA,也引入了混合SWA、LatentMoE和Engram。这些设计选择有大量跨模型规模的实验作为依据,也来自对模型架构和推理系统的协同设计。
Q: 你们认真考虑过、但最终放弃的最有竞争力的Hy4架构方案是什么?为什么放弃?
A: 好问题。我们在GQA和MLA之间反复权衡了很久。MLA的计算强度明显更高,会让推理GPU上的投机解码受算力限制。但在KV缓存同样大的情况下,MLA的模型质量优于GQA。引入DSA后,我们降低了MLA在解码阶段的计算强度,最终决定采用MLA。
Q: 这三项技术是分别解决不同瓶颈,还是团队刻意把它们设计成互相配合?
A: 这几项技术大体相互独立,带来的收益可以叠加。
Q: 设计架构时,你们怎么权衡KV缓存每个token的空间开销?Hy4 flash和Qwen Flash Next参数量接近,但按我的观察,它每个token的KV缓存要占两倍空间。如果效率只有一半,就得在其他方面有明显优势。你们做架构设计时是怎么考虑这个取舍的?
A: 我算了一下。Qwen3.8-Next-Flash和Hy4 flash都有12个全局注意力层。每个全局注意力层里,Qwen每个token存512个KV缓存元素,Hy4 flash存576个。所以两款模型的KV缓存大小应该差不多。你给这两款模型用了不同的KV缓存量化方案吗?
Q: 我在做中小型稀疏MoE及其量化,手头有一个35B-A3B模型,256个专家,每次选8个。我把它做成了约2.1比特每权重的三值量化,想用部分专家张量保留4位精度、再配低秩校正分支来恢复能力。你们的512专家、激活12B的LatentMoE是我最接近的参考。
你们的IQ2-AH版本对gate/up用IQ2_XXS,对down用Q4_K。我的35B模型正好反过来更好:gate/up用Q4、down用三值,PPL是2.34;精度调过来是2.68;全三值是2.93。Hy4的down投影普遍更敏感,还是只有LatentMoE和1536维专家潜空间会这样?怎么决定哪个投影分到更多比特?在大规模细粒度MoE里,按专家分配混合精度值得这份复杂度吗,还是按张量分配就够了?
恢复量化MoE时会训练路由器吗?我冻结路由器后出现了路由漂移和工具调用能力下降,保留原路由器也没解决。量化后必须让路由器一起适应吗?怎么保持稳定?
如果模型主体已量化并冻结,你们会在MoE和注意力输出处加低秩分支、全模型做LoRA/QLoRA,还是对量化权重做QAT?稀疏MoE的适配器该放在哪里?我在各块输出处用了秩为512的LoRA分支,效果不够好,希望别在更大的实验里重蹈覆辙。
激活参数从12B减到3B,什么能力最先退化?三值或2位MoE会不会到某个规模就不可行?如果只有3B激活参数,新增的一点精度或算力应该给更多激活参数、Engram、更高比特,还是潜空间专家?
Engram对12B激活的模型贡献有多大?值得加到3B激活的模型上吗?你们用的是每层独立的n-gram表,还是共享表加各层自己的投影?怎么权衡内存和模型能力?
A:在常规的Transformer层中,激活值的离群点会让down投影对量化更敏感,所以我们给它更多比特。位宽由基于Hessian的敏感度决定。我们倾向按张量分配精度,因为许多推理引擎把所有专家处理为一个堆叠矩阵,逐专家混合精度会破坏这种处理方式。按张量分配也更容易移植。
会。在量化感知训练中,我们把路由器和模型其余部分一起训练,让路由器保持稳定。
我们更倾向全参数QAT,质量更好。我们还没做过LoRA实验,因此没法建议适配器放在哪里。
我们预计推理深度、长上下文跟踪和工具调用可靠性最先退化。2位训练后量化(PTQ)会比三值QAT早很多失去可用性。
Engram参数不计入12B激活参数。我们每层用独立的n-gram表,在满足内存预算的前提下尽量提升能力。
Q: 我常用一项工作任务做基准。托管版在这项任务上表现很好,成功率是100%,但NVFP4版本的错误率约为8%。别的模型做4位量化,我没见过这么大的退步。相比其他4位量化模型,这款的KL散度也高得出乎意料,最高概率token和基础模型一致的比例偏低。我用Basalt,机器是两张5070 Ti加一张5060 Ti,配96GB DDR5内存。
A: 量化质量很大程度上取决于方法和校准。建议试试我们官方提供的NVFP4版本,它用GPTQ做量化。我们发布了两个NVFP4变体。在我们的评估里,NVFP4与BF16的差距很小,应该更适合你这种对准确率敏感的任务。
Q: 和Hy4 preview一样,正式版Hy4有时也会推理太久。这种过度思考是强化学习的奖励设计造成的,还是跟训练数据的分布有关?模型能学会什么时候该停下来吗?
A: Hy4的目标是把模型能力做到尽可能强,推理链偏长是我们已知的问题。不过,这也让我们能把它蒸馏成成本效益较好的Hy4 flash。在flash上,我们用强化学习来控制推理链的长度。
Q: 后续会从架构上优化,在保持质量的同时提高token生成速度吗?Hy4在不少场景表现很好,但和Hy4 preview相比,它在复杂任务里输出的token、工具调用和交互轮数明显更多。在我们的测试里,它的效率没有超过DeepSeek V4.1 Flash 1017。后续会优化吗?
A: 我们已经注意到Hy4的token效率问题,正在积极优化。
Q: 后训练阶段,最难改善的是哪种模型行为?
A: 过度思考。
03
从强化学习到自我改进,AI还差什么?
Q: 一旦模型在精确的语法或命令参数上产生幻觉,命令行界面(CLI)就很容易崩溃。你们能否详细说明,在进行强化学习的同时是如何做到不丢失上下文的?
A: 为了提高工具调用的准确率,我们在强化学习数据上投入了很多精力,加入了模型容易出错的高难度案例。同时,我们采用了一套细粒度的奖励机制,对关键细节上的错误施以更严厉的惩罚。在上下文保持方面,我们正在持续扩展强化学习训练所使用的上下文长度,并针对性地提升模型的上下文压缩(context compaction)能力。
Q: 在训练Hy4和Hy4 flash执行长程智能体任务和命令行操作时,多轮强化学习中最棘手的奖励作弊或状态漂移问题是什么?
A: 最难的是训练环境设计上的漏洞导致模型钻奖励机制的空子。比如,得防止智能体直接上网搜答案,跳过实际解题。
Q: Shunyu经常强调,挑数据要有好的判断力。你们判断训练数据好坏的标准是什么?怎么检验一个数据集是否达到这些标准?
A: 高质量训练数据有很多维度,不同领域和任务的标准也各不相同。无论靠人类专家还是智能体,设计和清洗数据都要投入大量精力。验证数据质量最好的办法是做实验,最终还是看实证结果。
Q: 为什么要让基础模型在中期训练阶段接触大量合成指令数据?
A: 为了提高模型的智能体能力。
Q: ① 在HyRA 2.0实验里,Hy4的提升主要来自超参数调优和底层算子的吞吐优化,还是它确实发现了不那么显而易见的架构或数据配比改进?② 你们提到模型的自我改进能力还有差距。现在主要是模型提出高质量研究假设的能力有限,还是自动评估框架的奖励信号太稀疏、迭代周期太长?
A: ① 提升主要来自底层吞吐优化。② 一方面,模型需要提高对训练方案的判断力;另一方面,用AI做AI研发本来就是一个周期长、难点多的任务。
Q: 你们已经用Hy4和HyRA 2.0改善了训练基础设施,也训练出了更好的小模型。下一步会做什么实验,来证明上一轮训练出的模型,能在下一轮更擅长做模型研发?模型怎样才能越来越会学习?
A: 我们正在做Hyra3.0,敬请期待!
Q: 很高兴看到Hy4不只做浏览器操作,还尝试了Blender、CAD,以及Unreal、Unity、Godot等专业工具。像Blender和CAD需要精确的三维定位和多视图交互,只靠截图和键鼠操作往往不够准。在合成训练数据和执行任务时,你们怎么平衡Blender Python、命令行等底层接口,以及纯界面操作和视觉反馈?这些经验有哪些能推广到其他专业软件智能体?
A: 我们在这方面投入了很多!训练时,我们强调把图形界面(GUI)和命令行(CLI)结合起来,尽可能提高执行效率。我们也在为专业软件搭建大量训练环境。目标是让Hy真正帮专业人士提高工作效率。
Q: 我看了大量使用PHP的代码库的测试结果。Hy4 Flash在shell运维任务上表现很好,比如ZFS数据集迁移这个边界案例。你们怎么处理PHP类型推断的特殊情况?
A: 更好的训练数据、更多样的内部评估,还有“不专门刷榜”(non-benchmaxing),哈哈。
Q: 你们没公布GPQA Diamond、τ-bench、IFBench、SWE-bench等常见基准的结果,有什么特别的原因吗?
A: 坦白说,我们展示的是Agents’ Last Exam、ProgramBench等较新的高难度基准成绩。你提到的基准出现得比较早,分数已经接近饱和了。
Q: 在你看来,Artificial Analysis对美国闭源模型的明显偏向,对你们和其他中国前沿实验室的经营业绩有多大影响?
A: 单个网站不太会决定模型在现实中的采用情况。我们看各种评估,包括内部基准、公开基准、第三方评估和实际用户反馈。要知道模型表现如何,得把这些信息放在一起看。说到底,大家关心的也是模型实际表现。
Q: 我也想给端侧智能体加上视觉理解。你们实验里,能看懂图片、界面截图或图表,并据此推理的最小模型有多大?我说的能力要比OCR或简单描述图片更进一步。
A: 我认为激活参数为3B的模型已经可以做你说的这些任务。
04
开源、本地部署与开发者生态
Q: 腾讯会继续开源,还是会像Meta一样转向闭源?如果腾讯做出了AGI,或者做出了能力最强的AI,也会开源吗?我的意思是,无论如何,腾讯都会开放自己最强的AI吗?
A: 到目前为止,是的,我们会继续走开源路线。