苹果、英伟达强强联手：LLM推理加速利器ReDrafter开源，AI性能提升2.7倍

2024年12月19日 07:35

IT之家 12 月 19 日消息，苹果公司昨日（12 月 18 日）发布博文，宣布和英伟达（Nvidia）合作，通过开源 Recurrent Drafter（ReDrafter）推测解码方法，显著提升了 AI 大语言模型（LLM）的推理速度。

苹果公司表示 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加速框架中，在 NVIDIA GPU 上，每秒生成 tokens 速度最高提升 2.7 倍，有效降低了用户延迟和计算成本。

苹果的机器学习研究人员指出，LLM 越来越多地用于驱动生产应用程序，提高推理效率对降低计算成本和用户延迟至关重要。

IT之家援引苹果官方博文，ReDrafter 使用 RNN 草稿模型，结合波束搜索（beam search）与动态树注意力（dynamic tree attention），可以让开源模型每步生成最多 3.5 个 tokens，超越了先前推测性解码技术的性能。