HiFi-UMI
描述
HiFi-UMI是从中经过质量筛选和分布平衡的2000小时子集
文章
分类
轨迹
而HiFi-UMI示范来自不同地点、背景和光照没有任何一条HiFi-UMI轨迹在最终评测现场采集。
文章
示范
实验中,后训练阶段仅使用HiFi-UMI示范,策略便能部署到真实机器人上。
文章
在同一个模型内,实验仅更换后训练数据来源,一组使用真机遥操作数据,另一组只使用HiFi-UMI示范。
文章
数据
4000小时多任务HiFi-UMI数据,对StarVLA-QwenPI进行预训练。
文章
不过从结果来看,即便在如此「不对等」条件下,HiFi-UMI数据依旧取得了好成绩。
文章
完成预训练后,团队继续使用HiFi-UMI数据进行专项后训练。
文章
据官方透露,目前HiFi-UMI数据生产体系已处理超过2万小时、432万段操作数据,覆盖480多个场景。
文章
对应
HiFi-UMI对应的是这套技术体系中的数据底座。
文章
后训练
StarVLA-QwenPI使用两类数据后的整体成功率分别为51.3%和53.8%,即使用HiFi-UMI后训练,160次评测中成功82次,而使用遥操作后训练,160次评测中成功86次,仅相差
文章
同样,在WAM模型LingBot-VA上,HiFi-UMI后训练与真机遥操作后训练的整体成功率分别为56.9%和57.5%,差距仅
文章
而OpenPI-π0.5基于HiFi-UMI和真机遥操数据后训练的整体成功率分别为77.5%和74.4%,使用HiFi-UMI后训练要比遥操作后训练高出
文章
而在污渍擦拭和果蔬分类任务上,HiFi-UMI后训练分别取得62.5%和57.5%的成功率,均略高于真机遥操作后训练。
文章
效果
对业界来说,HiFi-UMI-2K的意义并不只在于增加了一个操作视频数据集,而是为行业提供了一批可以用于验证无本体训练、视觉动作建模、多视角表征、双手轨迹预测、跨场景迁移和动作重定向的数据。
文章