任务
分类
路由
这样训练和测试使用的是同一套任务相关性估计机制,可以减少训练阶段知识迁移和测试阶段任务路由之间的不一致问题。
文章
这篇论文的亮点在于,它把量子门控机制引入到类增量学习中的任务路由和知识蒸馏过程。
文章
知识
但论文指出,现有方法往往缺少明确的任务交互机制:prompt选择容易受相似度噪声影响,adapter又常常把不同任务看成彼此独立的子空间,难以判断新样本应该借用哪些旧任务知识。
文章
相比简单地保存旧知识或独立训练不同任务adapter,QKD更关注任务之间的相关性建模,让模型在学习新类别时有选择地迁移旧任务知识。
文章
随后,这些权重会被用于task-interactionknowledgedistillation,让当前adapter从更相关的历史adapter中学习特征信息,而不是平均吸收所有旧任务知识。
文章
随着任务数量增加,不同任务的特征空间可能发生重叠,新任务学习容易覆盖旧任务知识,导致模型对旧类别识别能力下降。
文章
相关性权重
方法上,论文先为每个任务构建taskembedding,并通过参数化量子电路把样本特征和任务表示映射到更高维的Hilbert空间中,用量子门控输出样本到各任务的相关性权重。
文章
之间
它的核心思路是用量子门控机制来建模样本与不同任务之间的相关性,再根据这种相关性指导知识蒸馏和推理时的adapter融合。
文章
效果
随着任务数量增加,不同任务的特征空间可能发生重叠,新任务学习容易覆盖旧任务知识,导致模型对旧类别识别能力下降。
文章