候选
分类
集合
为了避免采样到极小概率token，Top-p、Min-p等常用方法根据概率截断候选集合，再从剩余部分进行采样。
文章
分子衡量候选集合的联合贡献，分母约束集合规模。
文章
因此，ME-Decoding评估的是整个子集的质量，并据此决定是否继续扩展候选集合。
文章
最终得到的候选集合看似“可靠”，实际上却包含大量冗余。
文章
语义kernel的带宽随每一步的候选分布变化，贪心搜索在MES不再提升时自动停止，控制候选集合的规模与计算开销。
文章
这些方法简单有效，但却忽略了一个问题：概率高的token，不一定能为候选集合带来新的信息。
文章
概率
ME-Decoding将候选token看作待剪枝的集成成员：既关注单个候选的概率，也考察它与其他候选的语义关系。
文章
ME-Decoding的核心是：筛选候选token时，既考虑单个候选的概率，也考虑候选之间的语义冗余，从集合层面决定保留哪些候选。
文章
MEE将候选概率与语义关系纳入同一个集合评分：概率反映模型对候选的置信度，相似度矩阵则反应候选之间的语义关系。
文章
带来
只有新增候选带来的收益足以抵消规模惩罚时，MES才会提高。
文章
子集
右侧：ME-Decoding同时利用token概率与embedding相似度，选择整体信息量更高的候选子集。
文章
分布
ME-Decoding根据当前候选分布的概率加权语义离散程度，自适应地计算这一带宽。
文章
候选
MES在保留高概率候选的同时，调整已被当前集合覆盖的语义方向的贡献，以获得更紧凑、更有信息量的samplingsupport。
文章
在一次解码步骤中，大语言模型面对的并不是唯一答案，而是一组具有不同概率的候选token。
文章
影响
只有新增候选带来的收益足以抵消规模惩罚时，MES才会提高。
文章
