基础软件

随着大模型逐步进入企业真实业务流程，市场竞争正在从模型能力本身，延伸至模型部署能力、算力体系以及底层基础软件能力。

前者提供大规模模型训练所需的计算资源，后者则通过编译器、Runtime、推理引擎等基础软件能力，提高异构芯片利用率，降低推理成本，并提升模型部署效率。

有观点认为，在持续扩充训练算力、完善AI基础软件能力以及长期积累后训练（Post-training）经验的基础上，未来基础模型的发展方向将不仅关注模型能力提升，同时更加注重推理效率、部署能力以及工程可用性。

前者提供大规模模型训练所需的计算资源，后者则通过编译器、Runtime、推理引擎等基础软件能力，提高异构芯片利用率，降低推理成本，并提升模型部署效率。

特别是在异构算力环境下，不同芯片架构之间需要通过基础软件完成适配、调度和优化，直接影响模型训练效率、推理成本以及部署体验。