灵巧手的第一份高难度考卷，中科院自动化所发布DexJoCo
近年来，随着机器人基础模型和灵巧手硬件的快速发展，机器人操作能力正在从简单抓取走向更复杂的功能性交互。但一个关键问题随之出现：我们该如何系统衡量灵巧手是否真的具备复杂操作能力？现有操作基准大多仍围绕机械臂夹爪以及抓取与放置等基础任务展开，难以系统评估灵巧手在工具使用、双手协作、长程执行和精细交互中的真实能力。
针对这一问题，中科院自动化所等机构提出了 DexJoCo，一个面向任务导向灵巧操作的基准与工具链。
论文标题： DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo
论文地址： https://arxiv.org/abs/2605.16257
项目地址： https://dexjoco.github.io/
DexJoCo 基于 MuJoCo 构建，旨在推动机器人从 “会抓取” 走向 “会真正操作”。该基准包含 11 个功能性灵巧操作任务、1.1K 条人类遥操作示范轨迹，覆盖工具使用、双手协作、长程执行和推理等能力维度，并支持现代机器人学习模型的训练与评测。
图 1 DexJoCo 总览 为什么需要新的灵巧手基准？
过去很多机器人操作基准主要围绕机械臂和夹爪展开，任务通常是把物体从一个位置移动到另一个位置。这类任务对机器人学习非常重要，但很难充分体现灵巧手相较于普通夹爪的核心优势。
灵巧手的价值不只是 “抓得更像人”，而是能够完成更精细、更接触丰富、更具功能性的操作。例如：
拿起水壶并按压把手完成浇花；
双手拿起相机并对准目标拍照；
根据指令输入密码解锁平板电脑；
双手配合完成插入、装配任务。
这些任务不再只是移动物体，而是要求机器人理解任务目标、操作交互部件，并改变环境状态。换言之，DexJoCo 关注的不是机器人能否 “抓住物体”，而是机器人能否真正 “完成一件事”。
DexJoCo 做了什么？
DexJoCo 设计了 11 个灵巧操作任务，覆盖四类核心能力：
工具使用：如浇花、敲钉子、收纳眼镜、使用鼠标。
双手协作：如双手装配、双手解锁平板电脑、双手拍照。
长程执行：如打开微波炉、放入食物、关门并启动。
推理任务：如根据指令完成汉诺塔后续步骤或根据语言指令输入对应密码。
与传统 pick-and-place 任务不同，DexJoCo 的任务设计强调功能性交互、手指级精细控制、任务顺序理解和双手协调能力。通过这些任务，研究者可以更系统地评估灵巧手在真实复杂操作场景中的能力边界。
不只是任务集，而是一套完整工具链
DexJoCo 提供了一条灵巧手操作评测的完整流程：
任务构建 → 人类遥操作 → 轨迹采集 → 数据格式转换 → 模型训练 → 策略评测