机器人暗光抓取不再“失明”,新开源方法让相机成像围着动作任务优化

灯光一暗,原本能完成的机器人抓取任务就可能失败。对走出实验室的机器人来说,光线变化绕不开:同样的任务、同样的物体,换一组灯光,相机送给模型的画面就可能大不相同。

问题出在图像进入机器人模型之前。相机采集的RAW信号要经过图像信号处理器(ISP)做降噪、白平衡、色彩校正等处理,才变成机器人看到的RGB图像。过去这一步常被当作固定预处理,但它会直接影响机器人能否看清目标、预测正确动作。

围绕这一问题,地瓜机器人联合东京大学等机构提出RawVLA:在已有机器人视觉-语言-动作策略前加一个可学习的成像模块,从RAW数据出发,根据当前画面和历史信息调整成像参数,让输入图像更适合下游操作任务。训练时,原有VLA策略保持冻结。

简单说,过去相机“怎么加工画面”是固定配方;RawVLA让这套配方围绕机器人任务来学习,目标不是让照片更好看,而是让机器人更容易抓对、放对。

真机实验中,团队用π0.5策略测试抓取与放置、抽屉操作、插花、堆叠与覆盖四项双臂任务。暗光下,搭配RawVLA的平均成功率为66.5%,默认ISP为0%,DarkISP为11%;正常光照下,RawVLA为75.0%,默认ISP为76.5%,表现接近。也就是说,暗光能力明显改善,常规场景没有明显退步。

仿真测试也显示收益:在RoboTwin 2.0上,跨五种光照、两种VLA策略的平均成功率从默认ISP的43.91%提升到54.98%,提高11.07个百分点。论文报告的成像模块处理速度为168 FPS,但这一数字只代表成像模块,不代表整套VLA推理或机器人控制频率。

团队同时发布RawVLA-Bench,把成像处理纳入机器人操作的训练与评测,覆盖极低光、低光、正常光、过曝和极端过曝五种条件,基于LIBERO和RoboTwin 2.0构建,包含2403条配对轨迹,完整评测设置13250次测试。目前数据集与评测代码已公开。

这项工作的意义在于:提升机器人在光照变化下的操作能力,不一定只靠改更强策略,也可以直接优化机器人“接收图像的方式”。从RAW数据、成像处理到动作执行,RawVLA把相机与策略之间的接口纳入任务学习,为后续研究提供了可复现的起点。