具身智能的训练数据,正从数万小时迈向百万小时量级。
支撑这一轮数据扩张的重要来源,是Ego数据,也就是人类第一视角视频。人操作工具、完成任务的过程被记录下来,为具身模型学习真实世界中的操作提供素材。
从原始视频到可直接用于模型训练的标准数据集,中间仍有一道工程鸿沟。大量清洗、标注和结构化后处理工作,需要规模化、标准化的处理管线承接,而这些基础设施尚不完善。
这也暴露出具身智能研发中的一个结构性矛盾:大量研发力量集中在模型架构和训练范式的创新上,支撑这些创新的数据工程基础设施,建设进度却相对滞后。
随着数据规模扩大,清洗、标注和后处理环节的效率,正越来越直接地影响模型迭代的速度。
怎样让百万小时的数据更高效地进入训练,同时控制处理和迭代的成本?
在百度世界2026具身智能专场,围绕模型研发与真实场景应用,百度智能云与产业伙伴分享了前沿探索和实践。数据如何支持模型持续迭代,以及AI基础设施如何提高研发效率,成为其中的重要议题。
百度智能云依托百舸平台,持续建设面向具身智能的全栈AI基础设施。它覆盖从数据处理到模型训练、部署的研发过程,相关服务也延伸到机器人本体与应用场景。
百度集团副总裁侯震宇表示,物理智能的长期竞争力,来自真实场景中数据、模型与AI基础设施的共同进化,以及将这些能力系统化组织起来的工程体系。百度智能云将携手产业伙伴,持续完善面向真实具身场景的能力,推动技术创新与产业落地。
据百度方面披露,目前百度智能云已为70多家具身智能产业链企业提供全栈AI Infra服务,并以29.6%的市场份额位居中国具身智能云市场第一。相关能力也在与客户的共同实践中持续打磨。
回到具身企业的研发流程,百舸怎样帮助团队减少数据的重复加工、缩短训练等待,让同样的投入支持更多轮模型迭代?这要从数据进入模型之前的工作说起。
从模型到现场,百度智能云全栈能力如何支撑具身研发
一套具身模型从训练到部署,需要不断与数据、机器人本体和作业环境配合。百度智能云提供的全栈能力,也围绕这四个方面展开。
首先,在模型侧,百舸承担的是训练、推理和算力调度的工作。
具身模型的架构和训练方法仍在演进。研发团队尝试新的模型时,既需要方便地修改代码,也需要控制每轮实验的时间和算力开销。
百舸的做法,是在相对灵活的开源框架上提供加速套件,针对VLA、世界动作模型等常用模型优化训练吞吐。
以π₀.₅为例,据百度披露,在单机8卡的特定测试中,优化后的OpenPI PyTorch实现,训练吞吐达到JAX参考实现的2.37倍。这意味着,在相同时间内,模型可以完成更多训练计算。
算力调度则贯穿这些过程。数据预处理和模型训练,对CPU、GPU的需求各有不同。百舸将这些资源纳入统一管理,为不同任务分配所需资源,减少硬件配置与任务需求不匹配造成的浪费。
对于研发团队,这些优化最终关系到:手头已有的算力,能处理多少数据,又能支撑多少轮模型迭代。
数据侧,要把采集、标注、管理和评测连接起来。
具身数据的来源很多,人类第一视角视频记录了操作过程,机器人遥操作数据则包含本体执行任务时的反馈。不同来源的数据,需要经过相应的处理,才能用于模型训练。
以人类第一视角视频为例,一段素材采回来之后,还要切分片段、添加语义标签,并根据训练需求标注手部动作。遇到手部遮挡、多人同时操作等情况,处理难度还会进一步增加。
据百度百舸具身行业高级技术专家史南胜介绍,过去一年,数据规模增长能够带来模型能力提升,已得到反复验证。但从采集到可用,再到真正产生训练收益,数据会经过层层筛选,数据管线的效率直接影响其中的转化率。
百舸将数据加工与数据资产管理分开:通过算子、工作流编排和算力调度,让不同来源的数据完成加工;同时保存原始素材与处理结果,记录版本和使用关系,让数据在处理方法不断更新的过程中仍能复用、追溯。
在加工环节,百舸提供手部重建、相机轨迹恢复、动作切分与标注等算子,通过工作流组织执行,并将数据质检前置,提前筛出不适合后续处理的素材。这些流程可以沉淀为参数化模板,团队处理新的数据集时,可以调整参数,复用已经调试过的流程。
具体到处理效率,据百度披露,在针对10段EgoLife视频的测试中,百舸优化了从视频中还原相机位置和朝向的处理环节。采用MegaSaM方案时,处理每小时视频所需的算力消耗,从11.36 GPU小时降至6.48 GPU小时,减少约43%。
随着视频数据不断积累,这类优化也能减少批量加工的算力消耗。
数据管理则帮助研发人员记录数据来源与处理版本,为后续复用和效果追溯提供依据。
评测结果还会影响下一轮采集。哪些任务表现不足、哪些操作需要增加样本,都需要结合模型效果判断,让后续的数据投入更有针对性。
到了本体侧,模型需要与机器人的交互和运行条件配合。
机器人进入服务场景后,往往需要接收人的指令。语音能否被准确理解、交互过程能否顺畅进行,都会影响使用体验。
百度智能云在这一侧提供语音交互、安全和端云协同支持。例如,与机器人计算平台企业地瓜机器人合作,为AI陪伴设备提供语音交互方案,让设备能够理解用户表达并作出回应。
端云协同关注的,则是机器人端侧设备与云端资源如何分工。哪些任务在端侧处理,哪些使用云端能力,需要结合响应时延和机载计算资源来安排。
因此,模型部署要与本体的软件、硬件条件一起考虑,安全要求也需要纳入系统设计。
场景侧,继续检验机器人能否稳定完成任务,以及应用经验能否复制。
在一个环境里验证过的模型,换到另一台机器人或另一处作业现场,仍需要检验表现。进入真实业务后,企业还要看任务成功率、人工接管情况,以及持续运行的成本。
百度智能云通过训练场和中试平台,支持企业继续完成验证,并探索向更多场景复制。同时,结合行业场景资源与产业伙伴合作,帮助具身企业寻找适合开展应用验证的业务环境。
这些验证也会为研发提供新的依据。现场暴露的问题,可以用于调整后续的数据采集与模型训练;已经验证有效的方法,则有机会在下一次部署中继续使用。
模型更新需要数据支撑,部署要适应本体条件,场景验证又为下一轮研发提供反馈。百舸的工程优化,正是顺着这条流程,去减少重复加工和训练等待,让同样的投入支持更多轮迭代。
同样的投入,怎样完成更多有效研发?
具身研发中的数据,会被反复使用。今天完成了视频清洗,明天可能需要补充质量评分;这轮训练使用的标注方法,下一轮又可能更新。
每次调整,都涉及一个问题:之前的加工结果,哪些还能继续用?
百舸首先要减少的,就是这些重复加工。
同一批视频,往往会被用于多轮实验。每次调整模型或训练方案时,此前完成的标注、筛选等工作,有一部分仍然适用。要把这些成果继续用起来,就需要将它们与原始素材对应保存,并记录清楚各自的处理方式。
在已经落地的数据治理管线中,百舸采用Lance宽表组织数据:一行对应一个样本,视频及其标注、评分等信息分别保存在不同列中,方便单独补充和更新。
例如,团队更换了视频质量评分模型,就可以重新计算评分,保留原始视频和仍然适用的动作标注。下一轮训练时,再按新的评分筛选视频,搭配已有标注使用。这样,一次实验中的调整,就不必带着整批数据从头加工。
这套表级读写方式,目前也在向更多管线推广。
要判断哪些结果可以沿用,还需要知道它们是怎样产生的。平台将数据版本与加工过程、训练结果关联起来,记录一轮训练用了哪批数据、经过怎样的处理,以及对应的训练表现。
研发人员由此可以检查已有结果是否符合新实验的要求,选择可复用的部分;模型表现发生变化时,也能回查数据和处理流程,寻找原因。随着实验推进,原始素材上不断积累的标注、评分和处理记录,就能成为后续研发的基础。
对于仍然需要执行的处理任务,下一步是降低单位数据的算力消耗。
比如,Ego数据的采集,需要人戴着相机操作,走动、转头都会让画面发生变化。为了还原拍摄时的空间关系,需要从连续画面中反推出相机的位置、朝向和移动轨迹,这一步叫作“相机位姿恢复”。
这类处理需要CPU和GPU配合。如果CPU忙于争抢资源、来不及准备数据,GPU也可能跟着等待,拉长整个任务的处理时间。
百舸对相机位姿恢复方案Droid-W的优化,就从这一问题入手。据百度披露,一台8卡服务器上同时运行的多个处理任务,默认会启动合计720个CPU线程,而整机只有180个逻辑核。线程过多,反而拖慢了整机处理效率。
因此,团队限制了每个任务的CPU线程数量,调整资源分配。同时,在GPU计算当前数据时提前准备下一批数据,缓存可复用的中间结果,并将适合的计算迁移到GPU,进一步减少等待和重复运算。
根据百度提供的测试结果,经过针对性优化,Droid-W和MegaSaM处理每小时视频所需的GPU时间,分别下降31%和43%。
同样的视频处理任务能够更快完成,占用的GPU时间也随之减少。
数据准备好后,训练本身也能再快一些。
在OpenPI的π0.5优化实践中,清华大学于超团队参与研发的RLinf,先完成了PyTorch实现与JAX版本的训练精度对齐。百舸在此基础上,逐项排查数据加载、模型计算和多卡通信中的耗时。
这次LIBERO训练只有两路相机画面,模型接口却预留了三个位置。原始流程会补上一张空白图像。虽然这张图最终会被屏蔽,但前面仍要传输、做视觉编码,用不上的输入也消耗了时间和算力。
百舸让输入数量随实际数据调整:有两路画面,就只处理两路,省掉空白图像带来的无效传输和计算。
另一个优化发生在多卡协作时。多张GPU共同训练一个模型,需要不断交换数据,通信跟不上,计算就得停下来等。团队因此调整了参数分组和通信方式,让GPU在执行当前计算时,提前传输下一阶段需要的数据,减少等待。
这些调整还腾出了一部分显存,可以保留更多后续会用到的中间结果,减少重复计算,进一步缩短训练时间。
在百度公布的单机8卡、无NVLink测试环境中,保持核心训练配置一致,π0.5在LIBERO训练集上完成一个epoch,也就是遍历一遍训练集的时间,从61.4分钟缩短至26分钟,训练吞吐增至原来的2.36倍。
速度提升的同时,团队也检查了训练表现。据百度百舸发布的OpenPI训练优化技术文章,在π0.5的8卡、1000步对照测试中,优化版本与基线的训练损失曲线高度一致,全程平均损失仅相差0.0001。
对于需要反复调整模型、验证想法的团队,完成同样一轮训练所需的时间缩短,就能更早查看结果、安排后续实验。
这套OpenPI优化也已沉淀为百舸平台的预置运行环境,供客户在对应配置下使用,让调优成果进入日常研发。
这些能力,已经进入哪些客户的研发流程?
这些优化进入客户的研发流程后,要应对的是一轮接一轮的实验。同一批数据会被反复使用,处理方法也会随着模型更新而调整。
在百度披露的一项客户实践中,百舸帮助一家具身企业将视频存储、加工和结果管理串成一条数据管线,让团队能够沿用已有处理结果,更新需要重做的部分,并追溯每轮训练所用的数据。
这家企业已经积累了几十TB的人类第一视角视频,希望从中还原人的操作,整理成机器人可以使用的训练数据。原始视频按采集批次上传后,与任务描述等信息一起管理,再由百舸工作流组织后续加工。
这条处理流程包含八个环节,其中三个需要调用GPU模型。仅手部运动,就涉及三维重建、动作解算和轨迹处理,最终还要按训练要求导出数据。
流程还会随着研发不断调整。比如,更换手部重建模型后,团队需要比较新旧结果,并重新执行受影响的后续步骤。原始视频和其他仍然有效的加工结果,则可以继续使用。
百舸将各步骤产生的姿态、手部轨迹等结果与原始视频关联保存,同时记录所用的模型和参数。
客户团队调整处理方法后,可以据此检查新旧结果,只重跑受影响的步骤,再将更新后的数据用于训练,减少整批数据从头加工的工作。
除了数据准备,百度智能云还与客户围绕模型训练、推理部署和语音交互展开了合作。
星海图与百舸的合作,围绕Fast-WAM世界动作模型的推理效率展开。
这类模型用于根据机器人看到的画面和任务指令,生成后续动作。Fast-WAM在训练中学习动作与环境变化的关系,实际执行时直接输出动作,以降低计算开销。
Fast-WAM在星海图Galaxea R1 Lite机器人上的叠毛巾任务展示
按照百度提供的测试结果,Fast-WAM在10步推理设置下的延迟为87毫秒。这类优化关注模型部署时的响应速度,帮助研发团队缩短从模型计算到输出结果的等待。
千寻智能与百度智能云的合作,则进一步涉及训练过程的稳定性。
千寻智能研发的Spirit系列具身模型,需要处理图像、语言和动作轨迹等多类数据,并通过持续训练迭代能力。训练任务运行期间,资源闲置、任务中断和无效等待,都会消耗研发时间。
百度智能云为千寻智能提供模型训练所需的AI基础设施支持。在这项合作案例中,百度披露,其平台可将集群有效训练时长提升至98.8%,减少训练过程中的中断与等待;配合大模型训推加速套件,文中报告的训练和推理效率分别提升了30%和60%。
这些优化既关注计算速度,也关注训练能否持续运行,让投入的算力更充分地用于模型迭代。
与地瓜机器人的合作,则将支持延伸到了机器人与人的语音交流。
据百度智能云泛科技行业解决方案总监孙颖欣此前介绍,百度智能云结合地瓜机器人的旭日3、旭日5计算芯片,打造了多模态互动框架和端到端语音交互等方案,面向不同定位的AI硬件。
其中,多模态互动框架将语音识别、大模型和语音合成串联起来,并融合情绪识别、长期记忆和视觉理解等能力。开发者可以接入文心或第三方模型,也可以调用音乐、教育等内容资源,用于AI玩具、儿童陪伴机器人等产品。
端到端语音方案则直接接收音频,将音色、语调等信息一起用于理解用户表达,让回应能够结合说话者的情绪和语气。
此外,在本次论坛上,百度智能云还与壹零壹壹、潜界科技、普渡科技开展合作签约,进一步拓展产业合作。
对具身企业而言,每一轮研发的投入,都需要尽可能成为下一轮迭代的基础。加工好的数据可以继续使用,调试过的流程可以重复调用,现场发现的问题也能为后续训练提供依据。
这也呼应了李彦宏关于智能组织的判断:沉淀隐性知识,设计流程闭环。工程师在一次次实验中积累的方法,逐步沉淀为团队可以共同使用的工具和流程,让研发经验随着项目推进不断积累。
智能组织,需要智能云。百度智能云依托百舸等平台,将数据处理、模型训练和部署验证连接起来,支持具身企业把这些积累用于后续研发,让同样的投入支撑更多轮迭代。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
🌟 点亮星标 🌟
科技前沿进展每日见


