权重

用模型权重训练的模型性能如何？

3、在2021年，Borth团队发表论文「Self-SupervisedRepresentationLearning」验证了「把神经网络权重作为可学习模态」的可行性。

①2020年，Borth团队在「InvestigationoftheWeightSpace」论文中，提出神经网络的权重在训练过程中每一轮迭代都会发生微小偏移，导致局部层面缺乏稳定的参照点。

他们设计了一个自编码器架构，将多个神经网络的权重序列编码至低维潜空间后再重构，以此验证权重之间是否存在可被学习的共享结构。

该范式主张把训练完成的神经网络权重视作一种可被再次学习的数据模态，让模型不再只是训练的终点，也可以成为下一轮训练的原材料。

在这一背景下，瑞士圣加仑大学DamianBorth教授提出了「权重空间学习」的框架，即将已完成训练的神经网络权重视为一种独立的数据模态，通过对权重空间的结构化学习，使模型能够从既有模型的集体经验中提取知识，而非每次都从原始数据重新开始。

KimiK3正式开源，3万亿模型权重全球开放2026年07月28日21:3036氪来源：36氪

MoonshotAI宣布，发布KimiK3的模型权重、技术报告，并开源支撑KimiK3模型训练的关键Infra技术：MoonEP、FlashKDA和AgentEnv。

2026年7月27日，MoonshotAI兑现承诺，KimiK3的完整模型权重正式面向全球开源社区发布。

此次发布的不仅是模型权重，还包括相关技术细节和报告。

此外厂商也要看能否承载开源带来的算力、开发者和应用需求以及全球对模型权重开放的监管尺度；

阿里、腾讯、字节则整体偏向开源路线，通过开放模型权重快速拉拢中小开发者、中小企业，快速补齐国内AI应用生态短板，抢占下沉市场。

三天后黄仁勋再次更新推文提到了“开源”，他还举例称：“在HuggingFace事件中，闭源AI阻断了关键取证工作，一个开源权重的前沿模型帮助遏制了入侵。

第三，完善配套制度，平衡内外两种培育模式的权重。

当数据濒临枯竭，模型权重能否成为下一代「燃料」？

模型权重如何成为AI的下一个「训练语料」？