Transformer架构还能咋改？严骏驰团队提供两条思路

速读：在题为《大模型新架构探索：JTok&xHC》的报告中，严骏驰介绍了两项工作：JTok为token引入可学习的参数表，通过查表和逐元素运算调制模型更新；

Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026

2026年11月04日 15:48

训练算力节省1/3。

作者丨张璐

编辑丨张驰

增加参数、扩展专家数量、投入更多训练数据，是大模型提升能力的常见路径。但对于算力和数据资源有限的高校团队，沿着这些方向持续扩大规模并不容易。

在现有 Transformer 架构之上寻找其他扩展维度，是上海交通大学人工智能学院教授严骏驰，在前不久的CNCC 2026演讲中分享的研究思路。

在题为《大模型新架构探索：JTok & xHC》的报告中，严骏驰介绍了两项工作：JTok 为 token 引入可学习的参数表，通过查表和逐元素运算调制模型更新；xHC 则扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。

两项研究都关注一个问题：新增容量能否以较低的额外计算代价，带来持续的训练收益。

严骏驰也讨论了这些方法的实际限制：小规模实验中的优势能否在更大规模上保持，训练算力的节省如何与推理延迟、访存开销相权衡，以及系统工程如何影响架构创新的效果。

以下为演讲整理。雷峰网 (公众号：雷峰网)

在现有架构上，

寻找新的扩展维度

今天分享的是我们在大模型新架构方面的一些探索。把它称为“新架构”，可能有一点夸大，实际上主要是在现有架构上做调整和改进。

为什么没有直接去做颠覆性的架构？一方面，我们没有那么多算力和能力；另一方面，即使把架构大幅修改，也未必能在工业界真正用起来。现在从底层硬件、驱动、算子，到上层模型软件，整个生态都沿着 Transformer 展开。改动太大，生态适配就会面临困难。

所以，我们希望先做一些有限的改动，观察它们是否有效，为工业界后续更大幅度的创新提供前期探索。

大模型常见的扩展方式：

一是增加参数、加深模型，但训练会更困难，因此需要残差连接、超连接等通路帮助信息传播；

二是把模型做宽，增加专家，通过稀疏激活控制计算量；

三是增加数据，开展更大规模的训练。

这三条路对高校都不算友好，因此，我们希望在 Transformer 的基本框架上探索不同的扩展维度。

这里有一个原则，就是尽量保持简单。加入很多人为设计的先验或技巧，可能在小规模模型上有效，但当参数和数据规模扩大后，优势就被吞掉了。我们要关注的是，这些改动能否随着规模扩大，持续发挥作用。

这次介绍的两项工作，分别是 JTok 和 xHC。

前者沿 token 对应的参数表扩展容量，后者沿残差流维度扩展容量。它们都尝试把新增容量放到主干的大规模矩阵乘法之外。

JTok：用查表扩展容量，

让训练收益保持下去

JTok 的思路很简单：在 Transformer 主干旁边增加一条分支，为每个 token 配置可学习的向量，按照 token 的编号查表，取出向量，再通过逐元素运算调制这一层的前馈网络更新。

例如，一个 token 有自己的编号，我们就可以直接用编号找到对应向量。向量中的元素是新增参数，可以通过梯度反向传播更新。这样就能引入较多参数，同时避免为这些新增参数再进行大规模矩阵乘法。