神经网络

但人类无法靠手工直接优化神经网络权重，所以这部分工作长期以来主要由各种算法完成。

但我们发现，当前一代前沿大语言模型已经开始展现出一种令人意外的能力：只需通过自然语言与它们交互，它们就能理解神经网络权重，并按照自然语言提出的目标来构造权重。

具体来说，就是让一个通用大语言模型根据自然语言描述的要求，直接读取和修改神经网络的权重。

大语言模型能够从零编写神经网络权重。

大语言模型能够修复神经网络权重。

大语言模型能够读取神经网络权重。

我们过去之所以认为这种做法合理，主要是因为：对于文本产物，我们还没有找到像更新可微神经网络权重那样成熟、明确的优化方法。

更有意思的是，Astra还尝试从零编写神经网络权重。

现在，我们已经可以直接用自然语言要求大语言模型完成一些过去很难想象的任务：从神经网络权重中找出隐藏的特征或缺陷，修复网络存在的问题，甚至从零开始写出一个新的神经网络。

目前，神经网络的权重通常通过优化算法生成，也可以由专门训练来生成权重的网络写出，或者通过编译器将形式化程序转换而来。