登录

状态


分类

预测

整个过程可以拆成四步:图5|WCM核心架构:共享的历史表征同时服务于价值估计与下一潜在状态预测。
文章

(3)只有在加入未来状态预测后,多帧历史才稳定转化为更好的价值估计。
文章

表示

经过语言条件化的多帧特征,被送入因果TransformerWorldPredictor,形成当前的历史状态表示。
文章

有多好

也就是说,WCM不会把状态有多好和执行某个动作后会怎样混为一谈,却又允许两类目标共同改善共享表征。
文章

图2|Critic负责判断当前状态有多好。
文章

在Actor-Critic类强化学习中,策略(Policy)决定做什么,Critic则负责判断这个状态有多好,并据此计算优势、指导Policy更新。
文章

价值

WCM设置两个轻量预测头:ValueHead输出当前状态价值;
文章

“把胡萝卜放到盘子里”和“折叠毛巾”,即使视觉画面相似,对状态价值的定义也完全不同。
文章