登录

HiFi-UMI


描述

HiFi-UMI是从中经过质量筛选和分布平衡的2000小时子集
文章

分类

轨迹

HiFi-UMI示范来自不同地点、背景和光照没有任何一条HiFi-UMI轨迹在最终评测现场采集。
文章

示范

实验中,后训练阶段仅使用HiFi-UMI示范,策略便能部署到真实机器人上。
文章

在同一个模型内,实验仅更换后训练数据来源,一组使用真机遥操作数据,另一组只使用HiFi-UMI示范。
文章

数据

4000小时多任务HiFi-UMI数据,对StarVLA-QwenPI进行预训练。
文章

不过从结果来看,即便在如此「不对等」条件下,HiFi-UMI数据依旧取得了好成绩。
文章

完成预训练后,团队继续使用HiFi-UMI数据进行专项后训练。
文章

据官方透露,目前HiFi-UMI数据生产体系已处理超过2万小时、432万段操作数据,覆盖480多个场景。
文章

对应

HiFi-UMI对应的是这套技术体系中的数据底座。
文章

后训练

StarVLA-QwenPI使用两类数据后的整体成功率分别为51.3%和53.8%,即使用HiFi-UMI后训练,160次评测中成功82次,而使用遥操作后训练,160次评测中成功86次,仅相差
文章

同样,在WAM模型LingBot-VA上,HiFi-UMI后训练与真机遥操作后训练的整体成功率分别为56.9%和57.5%,差距仅
文章

而OpenPI-π0.5基于HiFi-UMI和真机遥操数据后训练的整体成功率分别为77.5%和74.4%,使用HiFi-UMI后训练要比遥操作后训练高出
文章

而在污渍擦拭和果蔬分类任务上,HiFi-UMI后训练分别取得62.5%和57.5%的成功率,均略高于真机遥操作后训练。
文章

效果

对业界来说,HiFi-UMI-2K的意义并不只在于增加了一个操作视频数据集,而是为行业提供了一批可以用于验证无本体训练、视觉动作建模、多视角表征、双手轨迹预测、跨场景迁移和动作重定向的数据。
文章