登录

随机性

分类

策略

当Wgrad被量化后，两种随机性策略不仅没有稳定训练，反而直接导致了不收敛。

文章

随机性策略失败是因为它们在每一步引入了不同的误差模式（pattern），而这些变化的误差模式沿梯度路径累积，反而放大了不稳定性。

文章

效果

这个诊断本身就具有方法论价值，它告诉后续研究者：在低精度训练中遇到不稳定性时，应该优先排查结构性误差源，而非盲目增加随机性。

文章