正确类别
分类
梯度
现在，正确类别的梯度提前归零，其他类别的梯度却还存在，原本应当成立的关系被破坏。
文章
一旦越过临界值，标准交叉熵就会错误地将正确类别的梯度归零。
文章
以fp32为例，当这一差距超过约16.6时，标准实现就会遇到精度悬崖，错误地将正确类别的梯度归零。
文章
但按照修复后的计算方式，损失实际上约为3.046×10⁻⁸，正确类别的梯度约为-3.046×10⁻⁸，另外两个类别的梯度则分别约为1.523×10⁻⁸。
文章
对于单一正确标签的交叉熵，修复后的公式还让自动微分直接得到：正确类别的梯度等于其他类别梯度之和的相反数。
文章
标准JAX和Optax实现计算出的交叉熵损失为0，正确类别的梯度也是0。
文章
