自变量发布X2Real仿真评测基准:仿真与真机评测任务成功率相关性达0.96

来源:新浪科技

  新浪科技讯 10月19日晚间消息,今日,自变量发布X2Real。其为一套可进化的仿真评测基准,旨在评估具身模型在真实物理世界中的性能。它提出三个设计原则:可信性、有效性和客观性,分别通过与真实硬件对齐的仿真、多维度的任务设计,以及自动化的评测与诊断流程,让仿真评测成为模型性能的可信标尺。

  经测试,X2Real仿真评测与真机评测的任务成功率相关性达到0.96、进度分相关性达到0.99,居于行业最前列水平,真正实现了“让模型能力可度量,让研发进步可积累”,成为具身行业的关键基础设施。

  在可信性上,X2Real采用与真实硬件对齐的仿真标定,去校准仿真世界里的机器人视觉、物理和控制特性。经测试,X2Real能够实现毫米级的轨迹一致性,标定覆盖了多种主流机器人本体,包括单臂Franka、双臂ArtiXon Arm-6A、ARX R5和移动操作平台Quanta X1等。

  在有效性上,X2Real共设计了10个类别的44个仿真任务。其中4类推理能力包括泛化、视觉理解、语言理解、记忆;5类操作任务包括精细操作、双臂协同、工具使用、动态物体操作、移动操作。此外还专门设计了一类挑战任务,包括堆叠积木、按指定颜色序列按键、解决汉诺塔。

  在客观性上,X2Real将任务拆分为外观条件、任务设置、具身条件三个维度分别随机化;严格分离训练与评测配置;并使用由英伟达Isaac Lab-Arena支撑的Mana仿真生态系统持续生成新考题。同时,X2Real通过统一评测协议将模型接口差异统一翻译,开发者只需接入统一模型接口,平台就能在线完成评测判分和轨迹回放工作。