序列

具体来说，训练时，模型会同时看到问题、标准的自然语言推理链（由教师模型提供），以及一段抽象符号序列。

抽象符号序列，比绵延数千token的自然语言推理链，更容易被结构化地分析。

热启动阶段结束后，研究团队引入了强化学习（GRPO算法）来进一步优化抽象符号序列的生成策略。

研究团队也在论文中提出了若干未来方向，包括：动态调整抽象符号序列长度（根据问题难度分配不同长度的「思考预算」）、以及构建分层符号结构（让部分符号代表可复用的推理子程序）。

四是多模态融合（Multimodality），由于单一ESM模型往往仅包含单一模态信息，研究者利用对比学习（如CLIP）或交叉注意力机制等技术，将ESM的序列信息与蛋白质结构、药物分子等多模态信息进行融合，以弥补结构信息的不足并提升预测性能。