性能

cpp的内部模型格式）的全面软件流程，为多种大型语言模型（LLM）架构提供了模型基准测试和高性能部署支持，其中许多模型可在HuggingFace等知名模型数据库中找到。

下表展示了三款PowerVRGPU在使用千问-3.540亿参数模型和F16权重格式进行推理时的优化内核性能：

cpp的流行开源大型语言模型推理平台，并说明借助Imagination的贡献，如何利用该平台的OpenCL计算后端，在PowerVRGPU上部署和对大型语言模型进行性能基准测试。

PowerVR上的LLM性能与加速PowerVR上的LLM性能与加速——第2部分

PowerVR上的LLM性能与加速——第2部分

这些高性能内核增加了对F32、F16和Q4_0权重格式的支持，并采用了专门针对PowerVRGPU架构量身定制的特定内存访问模式。