登录

低比特模型

效果

「小模型」参数规模的变化改变了计算量，而低比特模型在位宽的降低则直接改变了权重、激活值和中间状态在运行时的存储与搬运方式。

文章

影响

3、在业界减少模型推理成本的探索中，低比特模型和通过训练或蒸馏出参数量更小的「小模型」的作用机制存在根本的差别。

文章