预览版

与预览版相比，正式版的规格没变：1.6万亿总参数的MoE架构，每个token激活490亿，预训练超过32万亿token，100万上下文窗口，最大输出38.4万token，MIT许可。