诺亚 发自 凹非寺 量子位 | 公众号QbitAI
强化学习环境(RL Envs)正在成为一门新生意。
随着大模型走向工具调用、软件操作和多步骤任务,模型训练的方式也在发生变化。模型不再只是从已有的数据和答案中学习,还需要进入具体任务,执行动作、观察结果,再根据反馈不断调整策略。
对模型团队来说,算法决定模型如何学习,而环境决定模型能够练习什么、可以尝试多少次,以及如何判断一次尝试是否有效。能否找到足够多、足够真实、结果可判定的任务,正在成为后训练的一部分重要工作。
这块需求有多热,市场已经给出答案。Mercor、Surge AI、Handshake……过去一年,围绕大模型训练和后训练,一批新公司和新业务迅速进入硅谷视野。
11月10日,Mercor宣布完成7.5亿美元D轮融资,估值200亿美元。这家公司运营着超过500万人的专家网络,为前沿实验室和企业供应评测与后训练数据。今年早些时候,Mercor还收购了Deeptune——一支花费两年时间把数百个企业应用重建为训练环境的团队。
Surge AI则展示了任务环境与模型训练之间的联系。这家公司围绕文档、电子表格、网页调研、规划和工具调用等长程办公任务构建RL环境,并用Qwen3.5-122B-A10B做后训练,模型随后在从未见过的SWE-Bench Pro上提升了5.7个百分点。
Handshake AI的重心在专家与场景,为前沿实验室提供专家数据、RL环境和评分器,覆盖金融、生命科学、对齐等方向。据《时代》杂志援引其CEO的说法,这项业务上线约一年,年化收入达到10亿美元。
这些公司的业务形态并不完全相同,有的侧重专业任务,有的提供训练环境,有的将专家经验、环境构建和评测结合起来。
但它们指向了同一个变化:模型后训练所需的核心供给,已经从算法和算力,扩展到训练数据和环境——“做什么任务、在哪里练、如何判定结果”。
随着模型开始承担长程任务,环境的作用越来越具体:它决定模型能练习哪些工作、动作会带来什么结果、训练能否持续迭代。
当这些环境还在数字世界时,模型操作软件、修改文件、运行代码,动作造成的变化通常能被记录,也比较容易判断结果。
而当模型要从屏幕走向物理世界,训练环境从数字任务延伸到物理交互,无疑会更加复杂。
GPT-6 Astra,机器人的“GPT-3时刻”:大模型开始进入物理AI
大模型能力的进步,正在改变机器人研发的想象空间。
9月3日,OpenAI发布GPT-6 Astra,定位是电脑操作与编程的前沿模型。
一个月内,第三方评测陆续出炉:在RoboDojo的42个仿真任务上,Astra不做任何机器人专项微调,平均成功率22.48%,超过榜单上全部40个经过训练的机器人策略。
投资人Freda Duan在X上发帖,称Astra是“机器人领域的GPT-3时刻”;前OpenAI研究员Will Depue的说法更直接:专用模型被“苦涩教训”了。
当然,OpenAI官方从未公布机器人跑分,真机测试也呈现明显的长短板:把方块放进碗里,20次成功19次;换到精密插销任务,20次只成功2次。
讨论指向的变化是实在的:通用模型在推理、工具使用和多步骤任务上的进展,让“基础大模型直接进入物理世界”从愿景变成了现实。
而从数字世界到物理世界,强化学习训练要面对另一种反馈。
数字环境里,软件智能体的动作改变文件、网页或程序状态,结果通常明确;但机器人的动作则牵动物体的位置、姿态和接触状态,一次接触的位置、力度和结果,也会影响后续的操作。所以,除了理解指令和规划流程,机器人必须在交互中不断调整动作。
这也意味着,物理AI需要的RL Envs不是数字环境的简单复刻,它要承载具体工作任务,让机器人在不同初始状态下反复行动,并让关键物体对策略动作作出可信响应。
训练场地的选择随之收窄。真机试错受设备、任务重置和现场条件限制,很难规模化;仿真可以提供可重复的训练条件,但前提是环境能承载具体任务、对策略动作持续给出反馈。
构建物理真实的RL Envs,由此成为基础大模型进入物理世界的必经之路。
复杂、多阶段的长程任务,RL Envs怎样教机器人干活?
在CoRL2026期间,光轮智能发布RoboFinals RL Environments(以下简称:RoboFinals RL Envs),面向机器人模型提供可交互的强化学习仿真环境。
不同于传统的围绕单一动作设计的训练场景,RoboFinals RL Envs以真实工作任务为导向,首发展示了时长超过8分钟的长程仿真任务——汽车修理长程工作。
这个任务将灵巧手操作、工具使用、多阶段流程和柔性物体交互组织在同一个工作场景中,涉及软管、线缆、密封垫等不同类型的物体。
它所呈现的复杂度,不仅在于单个动作本身的精细程度,更在于多种物理交互如何在同一任务链条中发生耦合关联。
第一,灵巧操作:自由度和接触点成倍增加。
多数机器人操作任务使用平行夹爪,只有开合一个自由度。灵巧手通常有十几到二十多个自由度,每根手指独立运动。
对策略来说,动作空间的维度大幅上升;对仿真来说,手指与物体之间同时存在多个接触点,每个点的受力都需要求解。如果接触算不准,物体就会滑脱或穿透,策略学到的抓握方式在真实世界里无法成立。
第二,长程任务:误差随着时间累积。
此前机器人强化学习环境中,常见的任务设计是抓取、放置等相对独立的动作。
例如Pick-and-Place,机器人需要完成物体抓取并放置到指定位置。但实际工作环境通常对应多段动作组合而来的任务,机器人要进入真实工作,必然要进入长程任务的训练。
任务越长,训练也越难。早期动作的影响很久之后才显现,每一步的小偏差还会不断叠加。
这是长程任务与多个独立任务简单拼接之间的重要区别。
常见的做法是把长任务拆成几段,每段从人工设定的初始状态开始。这降低了难度,但也去掉了真实工作的一个关键条件:机器人无法真正承接前一步操作造成的状态变化。
RoboFinals RL Envs的任务中,前后阶段相互关联。前一步造成的物体位置、姿态和接触状态变化会延续到后续步骤,策略必须学会在不完美的中间状态上继续完成任务。
第三,可变形物体交互:状态难描述,参数难确定。
软管、线缆、密封垫是可变形柔体,仿真时要离散成大量节点逐一计算,计算量和数值稳定性的压力都远高于刚体。
它们的行为还取决于刚度、阻尼、摩擦等参数。参数稍有偏差,仿真中的柔体表现就可能过软、过硬,或出现真实世界中不存在的抖动。而柔体交互后的形状响应,会直接影响后续的任务过程。
灵巧手的手指需要与物体发生接触,工具操作涉及精细的位置和姿态控制,软管受到牵拉时会产生弯曲和摆动,密封垫受压则会发生形变。
这些对象具有不同的物理属性和交互方式。单独呈现其中一种物体的运动并不困难,难点在于将它们放进同一个任务环境,使机器人能够在连续操作中与不同对象发生交互。
光轮此次展示的重点,不只是一个汽车维修仿真场景,而是将精细操作、复杂物体交互和长程任务组织在一起的机器人强化学习环境。要同时做到这几点,只能从底层做起。
光轮智能的全栈自研仿真底座SimFoundry覆盖“求解-测量-生成”三个环节:
求解器负责把刚体、关节体和柔性体的交互算对;
测量环节让物体的物理参数来自真实数据;
生成环节由AI Agent驱动,基于真实任务完成资产重建、物理建模和任务定义。由Agent驱动生成链路,真实场景和任务才能成批进入仿真。
光轮智能把这套标准称为RL Ready:任务语义上,每个阶段有明确的完成判定;物理交互上,试错条件下的反馈可靠;反馈信号上,可以直接用于训练。模型接入之后即可开始试错与迭代。
物理可信:光轮的仿真积累如何支撑长程任务
物理AI需要的强化学习环境,对搭建方提的要求很严格:
资产要视觉真实,还得物理真实。做到高质量的仿真环境搭建,需要高质量资产、高精度物理求解器、专家经验,三样缺一个,长程任务就会卡住。
问题在于,这三个单点能力很难同时被一个团队汇聚起来。
做资产的不碰求解器,卖仿真软件的手里没有真实场景,模型团队知道什么算对,却不太有动力做环境。
单点demo谁都能拼凑,但拼完就发现运行不下去。长程RL Envs迟迟没人推出来,卡点正是在这里。
光轮智能的不同之处,是这三样能力都握在自己手里。
作为Newton仿真技术委员会里唯一的中国公司,光轮智能参与定义SimReady仿真标准,同时是SimReady Central Library开源仿真资源库的核心贡献方。
早先展示的线缆插拔、塑料袋抓取等仿真任务,团队便展现了处理柔性物体的形变、接触和状态变化的能力,这类对象比刚体难缠得多。
而汽车维修任务,虽然对象变了,但处理的仍是同一类问题。资产、场景、自研求解器,这几个核心能力,都是这些年一点点打磨出来的。
△光轮智能已实现物理真实的颗粒、柔体与刚体的协同交互
能力凑齐还不够,得咬合起来才产出可训练的环境。
Agentic校准工作流干的就是这件事:Agent提方向、比结果、组织下一轮修正方向,光轮智能的仿真专家在关键节点上拍板,不断优化。
此次发布中的一个具体案例可以说明这一工作流的运作方式。
在维修汽车的任务中,充气设备的软管受到牵拉时的弯曲和摆动会影响机器人操作,初始仿真中存在异常抖动。
Agent连续自动化校准,逐步找到对软管响应影响最大的杨氏模量参数。候选参数和轨迹出来后,人类专家再把仿真中的弯曲、摆动与实际软管的表现放在一起判断,协助完成最后的校准。
样例中,最大位置偏差缩小约3毫米,原先明显的抖动也有所减轻,软管响应更接近真实。
△从V1到V3,与真实数据对比的误差结果不断缩小
物理参数调整的对象明确、结果可对照,由此形成自动化校准工作可复现的基础。
环境的构建能力能否规模化扩张,则决定了环境库能走多远。
光轮智能的规划是让RL Envs承载更多类型、不同难度和不同任务跨度的机器人工作,环境库的分布跟随真实任务分布,场景类型覆盖家居、工业、零售、医疗等;操作类型与难度从抓取放置,到对准、工具使用、力控,再到精密闭环操作;资产类型包括刚体、关节体、柔体、流体。
环境做出来了,接下来轮到模型团队提问:我怎么知道它学会了?
训练环境得配一套能对齐的评测。RoboFinals RL Envs和RoboFinals Benchmark共享任务语义、场景资产和能力定义,训练和评测说的是同一套工作要求;训练任务、奖励调参的过程和评测实例则严格分开,给学习效果留一份独立检验。
行业里,能训练的往往不能评价,能评价的手里又没有自己的环境,同源设计只有在同一条产品线上才成立。
最后一层是交付。
开源工具把启动仿真的门槛降下来了,可资产适配、物理校准、运行检查这些活一样没少。
光轮把它们打包成一个可以交付的产品,模型团队接上策略就能开训。环境能力不再是“某个团队内部攒出来的活儿”,而是可以采购、复用的标准件。
行业里,资产有人做,求解器有开源的,评测也有机构在做,单看每一项都不算独家。光轮智能率先把从“环境构建-校准-评测-交付”的一整条路走通了。
RL Envs的价值,最终要体现在策略能否在环境中持续行动,并根据每一轮交互结果调整行为。
光轮智能此次发布还展示了同一任务在不同策略迭代阶段的变化:
第一阶段(5 steps),机械手动作仍较为抖动,尚未完成抓取;
第二阶段(150 steps),策略已经开始尝试抓取,但螺丝在操作过程中出现滑落;
第三阶段(175 steps),策略成功抓起螺丝,完成了这一任务步骤。
这说明RoboFinals RL Env能够承载策略训练中的试错与行为变化,让模型表现的迭代过程在一个可重复的仿真任务中被观察和记录。
从数据评测到RL Envs,光轮补上模型持续学习的一环
大模型的发展已经表明,模型能力的提升不仅取决于算法本身,也与训练任务、交互条件和反馈机制密切相关。
对于机器人而言,这一问题更加复杂。
当模型从完成单一动作走向执行多阶段工作流程,环境不仅要承载任务,还需要处理精细化操作、物理交互、连续状态变化和长程反馈。机器人能练习什么、如何获得反馈,正在变成影响训练效果的变量。
光轮智能此前已经在围绕物理AI构建起“数据-评测-部署”全链路能力。此次推出的RoboFinals RL Envs则将产品能力进一步延伸至交互式训练环境。
依托SimFoundry仿真底座,光轮将复杂任务、物体资产和交互规则组织为可运行的仿真环境,使模型能够直接在环境中控制机器人执行任务、观察状态变化,并通过反复尝试来探索不同策略。
对于难以批量获取后训练数据的复杂操作任务,这也提供了一种新的学习经验获取方式。
模型训练后需要评测诊断,找到下一轮能力提升的方向,RoboFinals RL Envs与RoboFinals Benchmark分别面向策略训练和能力评测。模型可以在环境中进行交互和策略优化,再通过独立评测检验任务表现、识别能力边界。
从数据供给、仿真技术到规模化评测,再到强化学习环境,光轮智能的产品布局也反映出物理AI基础设施需求的变化:从模型研发所需的数据和评测资源,拓展到模型与物理环境之间的持续交互。
当机器人开始承担更复杂、更连续的工作任务,如何构建能够承载这些任务的学习环境,也正在成为物理AI基础设施需要回答的重要问题。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!



