登录

GLM-5.3-Flash


分类

提升

虚线为Pareto前沿,箭头为FireFlash相对GLM-5.3-Flash的提升。
文章

出发

FireFlash:一个从GLM-5.3-Flash出发、经全参数强化学习训练得到的300B级终端与编程智能体。
文章

效果

DeepSeek的DSA、MiniMax的稀疏注意力,以及GLM-5.3-Flash、Qwen等模型采用的块稀疏方案,各自用了降低精度、减少维度、把4个key压成1个等办法给索引器「减负」,但这些改进只是把常数项除以了几倍,索引器的工作量依然随上下文线性增长,prefill依然是二次方。
文章

其它

8月,智谱发布的GLM-5.3-Flash同样支持1M上下文,并首次在GLM系列中引入稀疏注意力与线性注意力的混合架构。
文章

其它

8月,智谱发布的GLM-5.3-Flash同样支持1M上下文,并首次在GLM系列中引入稀疏注意力与线性注意力的混合架构。
文章