登录

任意时间学习

分类

问题

▎任意时间学习问题：算出“不设停止时间”的最优跑法

文章

现在我们来看大语言模型预训练（LLMPretraining）场景下的任意时间学习问题。

文章

本质

第一个结论是：即使在简单的二次模型中，任意时间学习本质上也是困难的，即使在二维中也很难。

文章

影响

从推导任意时间学习的最优策略、精确算出临界批量大小与动态最优学习率，到揭示动量的真实作用边界……所有这些，都可以在这个朴素、清晰的二次框架下完成。

文章