背景由Meta FAIR开发的OSMO手套通过在人类演示过程中捕捉丰富的触觉反馈，这一用例的实现标志着人类到机器人技能转移的突破。挑战大多数在演示管道中学习的机器人严重依赖于基于视觉的手部跟踪。当指尖被物体、工具或表面遮挡时，这些方法在真实世界操作中就会失效。同时，视觉无法推断压力、剪切力或抓握稳定性等接触力。因此在没有触觉信息的情况下训练的策略经常会因不一致的压力应用、滑动或在执行期间失去接触而

上海人工智能实验室近日创建了一个以模拟器为中心的双臂灵巧遥操作基准测试，该测试并排比较了四个遥操作管道。在他们的评估中，使用Xsens Link和Manus的Xsens Metagloves的运动捕捉管道在短时间内实现了高精度的任务。挑战远程操作工具很难进行公平比较。不同的硬件、操作员和任务设置使得对比难以统一的数据表现出哪个界面能为双臂灵巧作业提供速度和精度组合。解决方案上海人工智能实验室团队在

捕捉、训练、扩展，一套系统解决所有需求Xsens Link动作捕捉套装专为无缝融入机器人开发和训练流程而设计，套装具备以下特点：Xsens Link 全身数据采集套装全身动作数据采集20毫秒超低延迟240赫兹高刷新率抗磁干扰15分钟内完成穿戴校准，即时使用支持热插拔的电池配置Manus Metagloves Xsens版数据手套手指动作数据采集＜7.5毫秒低信号延迟120赫兹传感器采样率绝对位置，

将视觉-语言-行动(VLA)策略扩展到具有高自由度灵巧手的双手机器人是一项艰难的挑战。ByteDexter V2灵巧手每只手有21个自由度，该方案创造了一个传统遥操作方法难以企及的56自由度双手系统。字节跳动Seed的研究人员在GR-Dexter技术报告中指出，当每个末端执行器都是需要精确、协调控制的多指拟人手时，难度会大大增加。为了让VLA的操作在该规模上取得成功，研究人员需要捕捉复杂的手与物体

“RoboBrain-Dex：多源自我中心训练用于集成灵巧视觉-语言-行动模型”。灵巧手遥操作目前为止仍然是机器人技术中最具挑战性的前沿领域之一。尽管视觉-语言-动作模型在通用机器人能力方面表现出很大潜力，但其面临一个关键瓶颈：灵巧手技能的大规模学习、动作注释数据稀缺。传统遥操作方法成本高且耗时，而现有的人类运动数据集则存在视角依赖、遮挡和捕获环境受限等问题，这限制了它们在机器人训练中的应用。北京

人工智能机器人培训MANUS数据手套的可扩展学习使用MANUS手套训练机器人灵巧的手：专为超精确手指跟踪和实时动作捕捉而设计。手套可以捕捉高分辨率的运动数据无缝集成到机器学习管道中-支持开发类似人类的抓取和操纵行为。轻松的人工智能模型集成机器人学习的精确演示用于机器学习算法的优化数据与ROS 2和SDK的机器人控制集成使用机器人手套远程控制机器人：将实时数据流传输到ROS 2(机器人操作系统)。M