上下文

注意力机制对n个token会生成n²的两两关系，每多一个token都在消耗一笔有限的"注意力预算"，上下文是边际递减的资源，不是个桶。

“讯飞刚刚发布的星火X2.5百万级上下文端侧模型，可以离线运行在PC与手机↑，把转写、翻译等能力放在本地完成，既降低云端token成本，也保障用户隐私安全。

第一个，就是上下文压缩（Compaction）。

问题在于，Codex此前进行上下文压缩时，会把旧图片继续留在上下文里。

字节跳动方面称，通过与飞书的深度打通，用户通过飞书账号登录豆包工作后，将完整继承其权限范围内的企业知识和工作上下文。

“企业上下文”被束骏亮视为办公Agent接下来要重点探索的方向。

比起入口流量，大厂实际正在争夺Agent进入组织后最需要的资源——企业上下文。

据介绍，通过与飞书深度打通，用户用飞书账号登录后，将完整继承权限范围内的企业知识和工作上下文。

豆包方面也在本次发布时特别提到，豆包工作与一般Agent工具最本质的区别，在于对工作上下文的深度理解。

凭借这几个真实的稀疏视角（SparseViews），模型在统一的空间上下文里维持不同视角之间的几何一致性，并推断、生成输入没有覆盖的区域。

在这个名为「多模态自回归扩散Transformer」的架构里，Atlas把文字、图像、深度以及相机位姿（CameraPose）全都揉进了同一个「空间上下文」。

这个空间上下文的胃口很大：静态场景通常只要2到3张照片就能完成基础重建，而如果需要更精细的细节，它也能一口气吃下上百张图片。