登录

大模型推理


分类

性能

方案通过预填充与解码阶段的算力分工协同,破解长上下文大模型推理的性能与成本挑战,为大模型规模化运营提供兼顾效率与性价比的国产算力方案。
文章