诺亦腾机器人开放HiPHI-Hand手部动捕数据集,已用于训练英伟达EgoHand

来源:新浪科技

  新浪科技讯 11月10日中午消息,具身数据公司诺亦腾机器人(Noitom Robotics)宣布在Hugging Face公开发布高精度手部动作捕捉数据集HiPHI-Hand,该数据集已用于训练英伟达的3D手部重建模型EgoHand。

  据诺亦腾方面介绍,EgoHand基于NVIDIA Isaac Capture框架构建,仅需单目摄像头拍摄的第一人称视角视频,即可还原手部三维姿态与形状,模型以OpenMDW许可发布、允许免费商用。英伟达方面称,该模型使用1400万张图像训练,素材来自合成数据、真实场景视频及多摄像头动捕真值数据,在公开的第一人称视角基准测试中零样本精度达到当前SOTA水平,单帧推理延迟约9毫秒。

  数据采集环节,团队在数采员手指上布置微型标记点,用光学动作捕捉系统记录人手与物体的交互过程,并与SOL头戴设备拍摄的第一视角视频同步。诺亦腾表示,即使手部在画面中受到遮挡,光学追踪系统仍可提供亚毫米级精度的三维手部真值;英伟达随后将这批数据处理为SOMA-Hand表征,作为EgoHand的真实世界训练数据来源之一。

  此次公开的数据与交付英伟达的数据一致,包括11小时同步采集的双目鱼眼相机第一人称视频、以头戴设备IMU为参照的相机外参,以及通过光学动捕获得的三维手部位姿。数据集沿用ModalityNet开放研究许可v1.0发布,可免费用于非商业的科学研究、教育和评估。2026年8月,该公司已在Hugging Face发布记录全身动作与人 - 物交互的HiPHI数据集。