MIT让GPT-6 Astra直接修改Qwen权重！数学成绩飙升
如果把一个训练好的神经网络摊开，只给大模型看一串权重数字，它能看出这个模型学会了什么吗？甚至能直接修改其中一小部分参数，让模型变得更聪明？
这听起来有些不可思议。MIT CSAIL 团队最新公布的一组实验，却让这个设想有了初步的现实依据。
团队让 GPT-6 Astra 直接检查 Qwen3.5-0.8B 的内部权重，找到了导致模型反复陷入推理循环的关键问题。随后 Astra 只修改了约 0.016% 的参数，就将模型在 MATH-500 上的成绩从 7.9% 提升至 48.1% ，指令遵循能力也提升了近两倍。整个过程没有重新训练模型，也没有使用梯度下降。
更有意思的是，Astra 还尝试从零编写神经网络权重。在没有训练数据、梯度和训练过程的情况下，它生成的游戏策略网络，甚至超过了经过 1 亿步 PPO 训练的模型。 团队将这种新能力称为 Weight-Space Programming（权重空间编程） 。
这意味着，大模型开始尝试直接理解神经网络内部的参数结构，找到问题所在，再动手修改模型本身。
从 AI 帮助人类训练模型，到 AI 开始直接参与模型权重的优化，这条路线可能为模型研发和递归自我改进（RSI）打开新的空间。
以下为博客全文编译（第一人称叙事）：
如果让你从头手工设计一个会下围棋的神经网络，你会怎么做？如果直接给你一组神经网络的原始权重，让你判断这个网络会表现出什么行为，你又该从哪里下手？
对绝大多数人来说，这几乎是不可能完成的任务。
目前，神经网络的权重通常通过优化算法生成，也可以由专门训练来生成权重的网络写出，或者通过编译器将形式化程序转换而来。
但我们发现，当前一代前沿大语言模型已经开始展现出一种令人意外的能力：只需通过自然语言与它们交互，它们就能理解神经网络权重，并按照自然语言提出的目标来构造权重。
权重空间编程
过去几年，我们一直在用大语言模型优化各种文本产物，比如提示词，以及围绕提示词搭建的程序。最近，我们又开始让它们优化整套运行框架（harness），以及用于训练机器学习模型的代码和超参数。
我们过去之所以认为这种做法合理，主要是因为：对于文本产物，我们还没有找到像更新可微神经网络权重那样成熟、明确的优化方法。
毕竟，人类可以手动修改代码，因此让大语言模型来完成这项工作很自然。但人类无法靠手工直接优化神经网络权重，所以这部分工作长期以来主要由各种算法完成。
本文中，我们分享了一组非常早期的实验结果。这些结果让我们看到，由模型推理驱动的优化方式，正在进入可微神经网络领域。我们将这种方式称为权重空间编程。
具体来说，就是让一个通用大语言模型根据自然语言描述的要求，直接读取和修改神经网络的权重。整个过程不需要经过优化器，尤其不使用梯度下降。有些情况下，甚至不需要任何来自运行环境的反馈。
现在，我们已经可以直接用自然语言要求大语言模型完成一些过去很难想象的任务：从神经网络权重中找出隐藏的特征或缺陷，修复网络存在的问题，甚至从零开始写出一个新的神经网络。
下面，我们会介绍这方面的一系列早期实验，先从小型网络开始，再逐步扩展到真正的语言模型。
这项研究主要展示了三种能力：
大语言模型能够读取神经网络权重 。 在实验 1 至实验 3 中，我们让 Astra 判断一个网络经过训练后学会了玩什么游戏、一个扩散模型会生成什么形状，以及一个小型语言模型使用什么语言进行训练。在实验 7 中，我们还让它判断两个语言模型中，哪一个经过了迎合用户的训练。
大语言模型能够修复神经网络权重 。 在实验 4 中，我们让 Astra 修复一个无法完成物理控制任务的网络。在实验 8 中，我们让它通过修改权重提高 Qwen3.5-0.8B 的数学能力，结果发现，指令遵循能力也随之提升。
大语言模型能够从零编写神经网络权重 。 在实验 5 中，我们让 Astra 为三款 MinAtar 游戏编写网络；在实验 6 中，则让它编写一个能够下围棋的网络。
大语言模型能从权重中读懂模型的行为吗？
我们先从小规模实验开始，看看大语言模型能否理解连续的权重空间。所谓权重空间，本质上就是一串数字。在最初的实验中，我们先用某种算法训练神经网络，然后把网络权重交给大语言模型。如果它能只凭这些数字判断出网络的行为，那将是一件非常令人兴奋的事情。
实验 1：Astra 能只凭权重判断网络经过什么游戏训练吗？
我们使用 PPO 算法训练了四个神经网络策略，让它们分别玩四款电子游戏。
这四个网络接收完全相同的输入通道，可以选择的动作也完全一致，网络的维度和结构同样相同。换句话说，如果不查看权重，仅凭网络结构和输入输出设置，无法判断它们分别经过什么游戏的训练。
我们将每个网络的原始权重直接放进 Astra 的提示词中，然后问它：这个神经网络是为了玩哪款游戏而训练的？
我们没有告诉 Astra 候选游戏有哪些，但它仍然正确识别出了全部四个网络对应的游戏。这一结果尤其值得关注，因为现实中可供选择的游戏非常多，Astra 并没有提前得到候选范围。