登录

自适应投机解码

描述

自适应投机解码是指联通元景Uni-Infer推理运行框架会实时监控用户请求排队数量和GPU运行负荷，智能调节模型的运行状态，实现灵活调速。

文章