登录

推理优化技术

其它

在应用部署方面，平台结合了自研的推理框架，并深度融合了PD分离部署、KVCache缓存以及投机采样等多项前沿的推理优化技术。

文章