注意力

LoopVL所观察到的跨循环视觉注意力重分配表明，即使共享相同参数，模型也能随着内部状态的演化改变视觉关注。

为此，团队进一步比较了两轮循环末端同一个共享H模块最后一层的视觉注意力分布，观察模型究竟将注意力转移到了哪些区域。

另一方面，VisualAhaMoment揭示了一个值得关注的现象：即使共享完全相同的参数，模型也能在不同循环中重新分配视觉注意力。

团队在多个诊断样本上，沿128次层调用记录视觉注意力的变化。

空间熵（SpatialEntropy）描述注意力分布有多分散，Gini系数则衡量视觉Token之间的注意力权重有多不均匀：前者越低、后者越高，通常意味着视觉注意力越集中。

论文图8：同一共享H层在两轮循环中的视觉注意力重分配。

这一令人兴奋的现象证明：模型并非简单地重复计算，而是在新一轮循环中重新分配视觉注意力。

除了验证循环视觉语言建模的可行性，团队还观察到明显的跨循环视觉注意力重组，并将其称为

算法持续推送内容，越刷越长，不断收割用户注意力。

然而，一个值得用户喜爱和信赖的数字平台，应该在获取商业利益与用户健康之间保持平衡，平台需要盈利，但是，平台不能通过利用用户的注意力作为其业绩的主要增长方式，特别是，以此造成的社会成本不应全部由用户来承担。

想要真正保护用户的注意力，需要切实考虑用户的权益，并将其作为基本规则纳入产品设计中去。

数字平台作为知识密集型产业，其为了更好地劫持与锁定用户的注意力，会在产品的开发过程中综合运用各种学科，包括但不限于心理学、行为科学、计算机科学、人工智能、神经科学、经济学等。

[[2]]由此可见，用户的注意力现如今已不再是作为个人心理状态而存在，而是作为“注意力经济”而存在。

倘若腾讯完全放弃短剧赛道，海量广告收入、下沉市场用户注意力，都将拱手交给对手。

亮点一：同层混合注意力框架

首个真正的同层混合注意力框架。

NeurIPS2026|层内混合注意力：告别位置「伪混合」，STILL首个内容感知的层内混合注意力架构2026年10月17日07:37机器之心Pro本文一作孟维康是哈尔滨工业大学（深圳）博士研究生，主要研究方向是高效基础模型架构，线性/混合注意力机制。

图2：STILL层内混合线性注意力架构。

先在滑窗内为每个token计算自显著性分数，Top-k高分token路由至Softmax注意力，其余token由线性注意力处理；

STILL提出自显著性分数（Self-SaliencyScore）：对每个token，在其局部滑窗内分别计算「含自身项」与「去除自身项」的两个滑窗注意力分布a^diag与a^nodiag，然后用二者的KL型敏感度作为该token的分数：

此前研究（如NaLaFormer）已指出，预训练Softmax注意力是「范数感知」的：向量模长调制表征强度，直接影响注意力分布的尖锐度。

此前的层内方案（LoLCATs、Liger等）只是把固定滑窗内的token交给Softmax、窗外的交给线性注意力——在作者看来，这种按位置一刀切的做法只是两种算子的「拼接」，算不上真正的混合。

然而，一个值得用户喜爱和信赖的数字平台，应该在获取商业利益与用户健康之间保持平衡，平台需要盈利，但是，平台不能通过利用用户的注意力作为其业绩的主要增长方式，特别是，以此造成的社会成本不应全部由用户来承担。

这将对我们的注意力造成沉重打击，我们已经无法静下心来看一本书或阅读一份报纸，我们也已经无法耐住性子去完成较为复杂的工作任务。

想要真正保护用户的注意力，需要切实考虑用户的权益，并将其作为基本规则纳入产品设计中去。