GPT-6 Astra爆改Qwen大脑：只动0.016%参数，数学成绩疯涨
只改了 0.016% 的权重，一个 8 亿参数大模型的数学成绩，就从 7.9% 飙升到了 48.1%。
更夸张的是，动手修改这些权重的，竟然是另一个大模型 GPT-6 Astra。
最近，MIT CSAIL 的研究团队展示了一种相当大胆的 AI 优化方法。他们让 GPT-6 Astra 像程序员阅读和修改代码一样，直接分析神经网络的权重，定位模型的问题，再修改其中的参数。
图｜研究博客地址：https://rikiyat.github.io/blog/weight-space-programming/
整个过程没有使用传统的梯度训练。研究人员仅修改了 Qwen3.5-0.8B 的 131072 个参数， 就让它在 MATH-500 上的成绩从 7.9% 提升至 48.1% ，GSM8K 从 13.8% 提升至 67.1%，指令遵循能力也明显改善。
这项研究被称为「权重空间编程」（Weight-Space Programming）。
消息传开后，有人认为，这是一种刚刚在最新一代模型中出现的「阶跃式能力」。如果大模型能直接读写另一个模型的权重，未来 AI 优化 AI，可能连重新训练都不需要了。
这是一种全新的、阶跃式的新兴能力，它刚刚才出现在最新一批模型中。
但质疑声也很快出现，有人指出，Qwen 原本就存在严重的重复推理问题，数学成绩大幅上涨，可能只是因为 Astra 修好了这个 Bug， 并不等于一个模型凭空获得了新的数学能力 。
从 7.9% 到 48.1%，GPT-6 Astra 究竟对这个模型做了什么？
从写代码到直接修改模型权重
一般来说，我们想要 AI 生成更好的回答，通常只能修改输入的提示词。而开发者想要修改模型的输出，可以用数据进行微调。
权重空间编程则尝试直接修改训练完成后的模型权重，即直接修改神经网络计算时使用的数字。
所谓权重，我们可以把它理解为神经网络模型里大量可调节的旋钮，每个旋钮都是一个数值，这些数值的不同会决定数据在网络中传递时，会被放大、削弱，还是以其他方式参与计算。
而我们常听到的训练模型，很大程度上就是在根据海量的数据不断调整这些旋钮，好让它逐渐学会从输入产出正确的输出。
训练完成后，模型的知识、习惯和行为倾向，都以某种复杂方式编码在这些数值之中；一个模型可以拥有数百万、数十亿甚至更多权重。
普遍的认知里，大语言模型能参与到模型迭代的部分，只是局限在编写训练代码、调整超参数、优化提示词，甚至设计完整的训练流程等。但在这些工作中，高达千亿、万亿大参数的模型权重本身，仍然主要由优化算法负责更新。
现在，大模型优化的对象开始从「如何训练一个模型」，下沉到「模型本身由哪些数值构成」。权重空间编程实现了让通用大语言模型可以根据自然语言目标，直接读取和修改神经网络权重；在某些实验中，模型甚至不需要环境反馈。
读懂权重之后，AI 开始自己写权重
为了证明这种突破的合理性，研究团队首先测试大模型能否只通过权重，就理解一个神经网络究竟学会了什么。
在实验中，GPT-6 Astra 能根据模型的原始权重，就推断出结构完全相同的几个小网络，分别对应的是专门为哪款游戏进行优化的模型，也能根据权重判断扩散模型会生成圆形、方形还是三角形。
面对几个小型语言模型，它还能仅根据中间层权重就判断训练语料属于 Python、英文还是日文罗马字，并找出负责复制前文的注意力头。
证明大模型可以读懂权重之后，研究团队继续测试是否能「写」，即修改权重。
研究团队用强化学习算法 PPO 训练小车控制网络，跑了约 10 亿步。结果，小车直接往坡上开，却卡在那里；在 256 局检查中，一次也没成功。
Astra 收到了网络权重、场景和输入输出的说明，以及一次失败过程的记录。它在一次回复里提交参数补丁，只是修改了 3.5% 的权重，为网络加入「先后退蓄力，再全速前进」的控制路径，使成功率从 0 提升至 100%。
在另一组实验中，Astra 根据游戏规则和网络结构，从零生成游戏网络的权重。这些没有经历训练的网络，在三个 MinAtar 游戏中都超过了训练 1 亿步的 PPO 网络。在 9×9 围棋任务中，经过有限的前向测试和修改，生成网络还超过了同规模、经过 2000 万局训练的 PPO 网络。
这些结果指向一个颇具想象力的可能性： 大模型或许可以把自然语言中的规则和策略，直接「编译」为神经网络。
只改 0.016% 参数，数学成绩涨了 40 个百分点
真正让这项研究出圈的，是对 Qwen3.5-0.8B 的修改。
前面那些小游戏的小模型都可以把权重转成文本，然后交给 GPT-6 Astra 处理，但一个 8 亿参数没法像直接塞进上下文。研究人员给 Astra 一个可以读取和修改权重的 Python 环境，以及 GSM8K、MATH 训练集中的练习题和答案，要求让这个小模型更擅长数学。
它可以借助 Python 分析权重，能通过专用工具测试模型，也能查看模型运行时的隐藏状态、神经元激活和注意力信息，但不能使用梯度信息或开展训练。