姚顺雨团队回应近百个问题:不刻意刷榜、将训练更大模型
11月接连发布Hy4和Hy4 flash后,腾讯开始逐步扭转“AI慢了”的质疑。
11月21日凌晨在技术社区Reddit上,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员进行了持续120分钟的问答(AMA,Ask Me Anything),回答了关于混元研发方向和思路的提问。
模型的参数量问题受到关注,尤其是字节、Kimi都在向上万亿参数推进,为何混元仍在7000亿左右?
针对总参数量770B(B为10亿参数)的Hy4和参数量224B的Hy4 flash,混元团队称,相比偏重编程,新模型更多面向通用用途。Hy4还有很大提升空间,尤其是在后训练方面,团队正在大规模强化学习上投入大量精力。
此外,混元团队称,正在计划训练参数规模更大的模型,相信Scaling Law(缩放定律)并将继续投入,下一代Hy模型的规模将进一步显著扩大。
也有不少用户关注小参数规模的推出计划,提到小参数模型在端侧等场景中的应用潜力。混元团队回应称,更小尺寸的Hy4-mini已在路线图上,并在考虑研发24B至31B的稠密模型,一款前沿的Flash Lite也在路上。此外还会考虑做一个更小的图像模型,也请外界关注视频模型。
“Hy3和Hy4已经表明,扎实的较小模型也可以胜过更大的模型。更重要的是,它们成本更低。”混元团队称。
有用户发了一张关于AGI(通用人工智能)发展阶段的表格,显示2级是达到熟练成年人的中位数水平,3级是达到熟练成年人的前10%水平。混元团队回应,目前Hy4处于2.5级。
技术方面,有用户提到Hy4有时会花太长时间推理。就“过度思考”问题,混元团队称Hy4的目标是尽可能提升智能水平,因此思维链(CoT)过长是已知问题,但团队将其蒸馏为性价比较高的Hy4 flash,flash通过强化学习来确保思维链较短。混元团队也承认,在后训练阶段最难改善的行为是“过度思考”。
混元团队还透露,团队正将创意写作和可读性作为重点改进方向,这个方向有提升空间。此外,相信数据和评估是实现AGI的最重要工具,数据决定模型的能力,而评估则引导向正确的方向。该团队也在研究持续学习技术(模型从连续数据流中学习新任务并避免遗忘旧知识),认为是一个很有前景的方向。
姚顺雨负责以来,混元大模型放弃了通过基准测试分数刷榜的方向。有用户关注到混元未公布GPQA Diamond、SWE Bench等常见基准测试结果。
混元团队回应称,这些基准推出较早,分数已饱和,团队展示的是较新的高难度基准成绩,例如Agents'Last Exam等,并强调模型研发中会通过更好的训练数据和多样化的内部评测来处理一些问题,不刻意刷榜。
也有用户问到,在先进AI芯片供应限制下混元能否追上最前沿的模型。混元团队回应称,目前正在极致压榨现有资源,以追赶前沿水平。