33.5万亿Token喂出来！百度文心5.5 Flash Base正式开源

快科技11月6日消息， 百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。

这款模型采用MoE混合专家架构，总参数量达到2800亿，但每个Token实际激活的参数只有140亿。 整个模型使用33.5万亿个Token完成预训练，微调和推理阶段支持最长100万Token上下文。

从参数规模来看，文心5.5 Flash Base并不算小，但它的重点并不是一味堆参数，而是尽可能提高计算效率。

简单来说，MoE架构可以让模型根据不同任务，选择部分专家参与计算，而不是每次都调用全部参数。 文心5.5 Flash Base总参数达到2800亿，每个Token只激活140亿参数，在保留较大模型容量的同时，也能减少实际计算量。

上下文长度也是这次的一大看点。模型预训练阶段最高支持128K上下文，而经过微调后，推理阶段最长可以支持100万Token。对于需要处理长文档、代码仓库和大量资料的开发者来说，这项能力比较实用。

百度还针对模型效率做了不少优化。

在注意力机制上，文心5.5 Flash Base采用混合稀疏注意力方案，通过压缩历史信息，减少处理长文本时的显存占用。同时引入多路由专家机制，让多个路由器共同参与专家选择，提高计算资源的利用率。

训练方面，模型采用Muon优化器和FP8混合精度，并推出自研FlashMask-4注意力算子，进一步改善大规模训练时的计算和显存效率。

性能方面，百度公布的测试结果显示，文心5.5 Flash Base在知识、推理、数学、代码、多语言和长上下文等多个项目中取得同尺寸模型领先成绩。

主题：文心5.5FlashBase|计算|百度