黄仁勋「每天都在用」的Perplexity开始重构Attention,把「判断」做成了一个独立模型
Decider v1.3:63 项分类任务准确率达 91.6%,对标 Jev 成本直降 61%。
作者丨 郑佳美
编辑丨岑 峰
刚刚,黄仁勋每天都在用的「AI 导师」 Perplexity 有了新动作:正式推出 Decider v1.3,直接把 AI 系统里的判断能力单独做成了一套模型。
Perplexity 这次直接改了模型处理判断任务的方式: 同一份上下文可以同时交给多个问题使用,模型只需进行一次前向传播,就能输出各个问题的答案概率。 过去需要反复调用 LLM、生成文本、解析结果的流程,现在可以收敛到一次模型计算中。
为了让多个问题共享计算时不互相干扰,Perplexity 还重新设计了 Attention 机制,让共享状态读取全部问题,同时限制问题之间直接交换信息。v1.3 进一步加入 Locate 能力,可以根据字段描述直接定位原文跨度,将判断与文本抽取整合进同一套架构。
这套模型已经进入 Perplexity 的生产系统。在一次内部安全审查中,它单日处理了 7000 个 Agent 会话,累计读取 10 亿 token,并推动 14 项规则修复。
从技术架构来看,Decider 有三个紧密关联的设计层次:输入端如何把共享上下文与独立问题组织在一起,注意力层如何控制不同问题的信息交互,训练与输出层又如何让同一套模型兼顾分类判断和文本定位。
其中,隔离式问题注意力改变了多任务共享计算的底层方式,也是理解整个 Decider 架构的关键切口。
01
一份上下文,承载多个判断任务
Decider 的输入其实是由共享状态(State)和若干问题块(Question)组成。State 保存网页、文档或 Agent 执行记录,Question 描述具体判断目标,并列出候选答案。每个候选项映射到预定义标签 Token,例如 A、B、C,特殊的 <|marker|> Token 则标记答案读取位置。
模型处理时,会提取 Marker 对应位置的隐藏状态,交给决策头计算各候选项的分数,再转换为概率分布。
这里的决策头由基础模型原有的语言模型输出层改造而来:Perplexity 保留 A、B、C 等候选标签对应的权重行,移除其余词表输出权重,再针对决策任务进行训练。原本用于计算下一个 Token 概率的输出层,由此转为专门处理选项判断。
这个设计让任务定义与输出计算分离。调用方可以通过自然语言描述问题,通过选项限定答案空间,模型则负责根据上下文计算各选项的概率。
情感分析、自然语言推理、意图检测、实体匹配、内容审核、事实核查和评分,可以采用同一套输入协议,不需要为每种任务单独建立一套模型结构。
Perplexity 将数百个公开数据集转换为 State、Question、选项和目标组成的统一训练格式。训练目标既可以是正确标签,也可以是完整的答案概率分布。对于同一段长文本需要执行多项判断的情况,多个 Question 可以放进同一次前向传播,模型只需处理一份共享上下文。
不过计算收益需要准确理解:增加问题仍然会增加 Question Token 和注意力计算,Decider 节省的主要是长文本被重复编码的开销,以及生成式模型逐 Token 解码和外部解析的成本。问题数量越多、共享文本越长,复用价值越明显。
输出概率还保留了业务策略的调整空间。模型负责给出候选项的概率分布,应用根据误报、漏报的业务代价设置阈值。网页过滤和 Agent 执行审查可以使用不同门槛,无需为每种业务重新训练决策模型。
02
多任务如何共享信息,互不干扰
输入协议确定后,新的问题落在模型内部:多个 Question 同时进入 Transformer,它们之间应该建立怎样的信息连接?
Decider 以生成式 LLM 为骨干,原有因果注意力按照文本顺序组织信息,当前位置只能读取自身及前面的 Token。这种结构适合逐步生成文本,却不利于需要理解完整上下文的判断任务。
Perplexity 因此改用双向注意力,让 Token 可以读取完整输入。消融实验显示,这项调整改善了模型的决策表现。
双向注意力开放了完整上下文,但也让多个问题之间出现信息交互。v1.2 使用完全互见模式,State 和全部 Question 可以相互读取。这样一来,某个问题的表示可能受到其他问题的影响,调用方调整问题组合时,原有判断也可能随之变化。
v1.3 引入的 Isolated Question Attention 改变了这套连接关系:State 可以读取全部 Question,而每个 Question 只能读取 State 和自身 Token,不能直接读取其他问题。
这里有一个关键细节:State 不再只是保存原始文本的容器,它还承担了跨任务的信息汇聚作用。它可以读取整组问题,在多层注意力计算中形成包含任务条件的上下文表示,每个 Question 则通过 State 获取相关信息,并保留自身的任务描述。
这种结构切断了 Question 之间直接传递局部表示的路径,但没有消除全部间接影响。由于 State 已经读取其他问题的信息,经过多层 Transformer 的传播,问题 A 的信息仍可能先进入 State 的后续表示,再被问题 B 读取。
Perplexity 控制的是直接注意力连接,而非让各项任务在数学意义上完全独立。这个区别也解释了为什么 v1.3 没有选择完全可缓存模式。团队测试过另一种结构:State 只读取自身内容,Question 再读取 State 和自身 Token。雷峰网 (公众号:雷峰网)
这样同一段文本可以在不同请求之间复用缓存,因为 State 表示不依赖具体问题集合。但代价是 State 编码时看不到任务要求,无法根据当前问题调整上下文表示。Perplexity 最终选择隔离式问题注意力,保留问题对上下文的条件作用。
团队还通过标签扰动测试检验输出稳定性。在 372 道多项选择题上,改变选项顺序、标签映射和标签名称后,Decider v1.3 只有 0.27% 的问题发生语义答案变化,Jev 1.14 的变化比例为 2.69% 至 4.84%。相同输入重复执行时,Decider v1.3 的输出保持一致。
隔离式注意力由此成为 Decider 的核心架构设计:它决定了共享上下文怎样参与多项判断,也决定了不同问题之间可以通过哪些路径交换信息。
03
从选项判断,到文本跨度抽取
普通决策头的输出范围由预设选项限定。当任务要求模型从原文中找出一段未知长度的文本时,仅靠 A、B、C 这样的标签已经无法满足需求。Decider v1.3 因此增加 Locate,将输出扩展到文本跨度定位。
Locate 新增了 <|locate|> Token、跨度头(Span Head)和 LoRA 适配器。每个待抽取字段拥有独立的 Locate Token,其嵌入由此前训练得到的 Marker 表示初始化。跨度头结合 Locate Token 与 State 中各 Token 的隐藏表示,对候选文本片段的起点、终点及两端配对关系进行评分,同时为字段生成专属阈值。
起点与终点评分负责寻找文本边界,配对评分则判断两个位置能否组成有效片段。单独找到两个高分位置,并不意味着它们一定属于同一段合理文本,因此配对关系也需要独立学习。模型返回原文字符区间,下游程序可以直接读取对应内容。leifengwan
训练采用改进版 InfoNCE 目标,让正确跨度的分数高于阈值,同时让阈值高于其他候选跨度。当原文没有对应字段时,模型需要将阈值抬高,使候选片段无法通过筛选,进而返回空列表。
Perplexity 使用命名实体识别、PII 检测和抽取式问答数据训练 Locate,字段描述既有简短标签,也有自然语言指令。这样的数据组织让模型需要理解字段含义与文本内容之间的关系,而非只记忆固定字段名称。
Locate 也带来了参数干扰问题。原有决策头学习候选选项之间的概率分布,跨度头学习文本边界和片段配对,两种任务对模型内部表示的要求存在差异。
Perplexity 发现,将 Locate 适配器合并进主干后,普通决策请求会出现退化,因此保留独立 LoRA 适配器,只在文本定位任务中启用。
主模型采用分阶段训练。较大版本以 Qwen3.8-27B 为基础,先进行大规模通用全量微调,并排除公开评测基准的训练划分,随后通过 LoRA 加入领域任务,再进行视觉适配。团队对三个不同随机种子的文本训练权重取平均,以改善模型整体表现。
Flash 版本以 Qwen3.5-4B 为基础,通过较大 Decider 蒸馏获得能力。学生模型拟合教师给出的完整概率分布,通过 KL 散度学习教师对不同候选项的相对判断。雷峰网
相比只学习正确标签,分布蒸馏还保留了其他候选项的相对置信程度。Perplexity 表示,在相同训练数据下,KL 蒸馏在留出任务上的泛化表现优于标准交叉熵目标。
评测中,Decider v1.3 在 63 项分类任务上的平均准确率为 91.6%,比 Perplexity 原有生产分类器高 6.54 个百分点,在 72 项检索任务中,逐点重排的平均 nDCG@10 达到 83.99,比 Qwen3-Reranker-8B 高 1.81 分。
八种语言任务的平均准确率为 88.16%,Jev 1.14 为 85.41%。Locate 在 17 项域外任务上的平均得分为 69.0,Flash 为 63.6。生产评估覆盖 API 上线后前 18 天的一百万条请求,去重后包含 2,318,887 个问题。由于生产请求缺少人工标注,团队使用前沿 LLM 评判模型生成参考答案。
Decider v1.3 与参考答案的一致性为 93.98%,略高于 v1.2 的 93.68% 和 Jev 1.14 的 93.35%。这项数据反映模型与评判模型的吻合程度,但不能直接等同于人工标注下的真实准确率。
04
判断,开始拥有独立计算架构
Decider 的技术路线围绕一个明确问题展开:如何让模型在保留上下文理解能力的同时,高效处理大量结构化判断。它通过输入协议、隔离式注意力和 Locate 扩展,建立了从选项判断到文本定位的完整能力体系。
但这套架构仍有边界。目前公开的评测结果展示了它在分类、检索重排和文本抽取上的表现,生产案例也说明 Perplexity 已经将其用于内部工作流程。
不过,模型的实际收益仍然取决于任务类型、上下文长度、并行问题数量和部署成本。现有数据还不足以说明这种架构适合所有 AI 应用,尤其是开放式推理和复杂规划,通用 LLM 仍然有自己的优势。
对于 Agent 系统,Decider 确实是提供了一种值得继续验证的分工思路:让通用 LLM 处理复杂理解与生成,将边界清楚的分类、筛选和评估交给专门模型。但两者能否形成更合适的协作方式,还需要结合真实工作负载中的延迟、资源消耗和任务表现进一步检验。
参考链接: https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider