架构

在题为《大模型新架构探索：JTok&xHC》的报告中，严骏驰介绍了两项工作：JTok为token引入可学习的参数表，通过查表和逐元素运算调制模型更新；

严骏驰也讨论了这些方法的实际限制：小规模实验中的优势能否在更大规模上保持，训练算力的节省如何与推理延迟、访存开销相权衡，以及系统工程如何影响架构创新的效果。