神经网络

3、在2021年，Borth团队发表论文「Self-SupervisedRepresentationLearning」验证了「把神经网络权重作为可学习模态」的可行性。

①2020年，Borth团队在「InvestigationoftheWeightSpace」论文中，提出神经网络的权重在训练过程中每一轮迭代都会发生微小偏移，导致局部层面缺乏稳定的参照点。

他们设计了一个自编码器架构，将多个神经网络的权重序列编码至低维潜空间后再重构，以此验证权重之间是否存在可被学习的共享结构。

该范式主张把训练完成的神经网络权重视作一种可被再次学习的数据模态，让模型不再只是训练的终点，也可以成为下一轮训练的原材料。

在这一背景下，瑞士圣加仑大学DamianBorth教授提出了「权重空间学习」的框架，即将已完成训练的神经网络权重视为一种独立的数据模态，通过对权重空间的结构化学习，使模型能够从既有模型的集体经验中提取知识，而非每次都从原始数据重新开始。