权重方向

相比之下，权重方向的变化则明显更大，均值为2.2%，标准差为2.1%，对应为范数变化的22倍和10倍。

受权重方向变化在蒸馏中发挥关键作用这一观察的启发，紧接着引入权重方向低秩旋转（LoRaD）模块（更多理论说明见补充材料D）。

受此启发，团队提出了权重方向低秩旋转（Low-rankRotationofweightDirection，LoRaD）——一种专为单步扩散蒸馏设计的参数高效适配器。

为此，团队提出了权重方向低秩旋转（LoRaD）（见图2(e)），通过可学习的旋转矩阵调整预训练权重的方向。