大模型推理

于是接下来，我们把镜头推近，聚焦直击大模型推理成本和效率「生死线」的跨集群异构PD分离架构（Prefill-RelayDecode-MainDecode,PDD），我们专访了无问芯穹技术副总裁、该技术负责人李秀红。