登录

推理引擎


分类

适配

这家公司2024年开源了同名AI基础设施平台,最初侧重GPU集群管理,现在把模型部署、推理引擎适配和Token服务放到了更重要的位置。
文章

效果

模型、芯片和推理引擎持续增加,组合数量随之扩大,依靠项目团队逐个适配,成本会越来越高。
文章