神经网络

然而，现代神经网络往往是从高维输入到高维输出的黑盒函数。

最后，对从数据分布中采样的多条路径取平均，即可得到整个神经网络的复杂度估计。

衡量神经网络复杂度的一种常见思路是观察参数空间。

这项研究不仅为理解神经网络为什么能够泛化提供了新工具，未来还有望用于筛选预训练模型、诊断微调过拟合，并改善视觉、语言、强化学习及世界模型面对新数据和新环境时的表现。

》中采用了相近的方法论视角：将“学习世界模型”形式化为对数据生成隐变量的恢复（辨识）问题，并通过正交函数基将复杂函数分解为不同阶次，研究神经网络在解空间的低阶偏置如何促使真实隐变量变得可辨识。