Embodied Decision Intelligence Lab (EDI Lab) 清华大学具身决策智能实验室

RLinf v0.4 适配昇腾:多模型适配与具身强化学习全链路优化

在已有 OpenVLA/OpenVLA-OFT、OpenPI 等适配基础上,RLinf v0.4 × 昇腾进一步扩展了 GR00T N1.5、StarVLA、DreamZero 与 Wan 的昇腾支持,覆盖策略训练、监督微调与世界模型推理等场景。

模型 环境 / 工作流 昇腾 CANN 状态
OpenVLA-OFT LIBERO / ManiSkill 支持 ✅
Wan 世界模型推理后端 支持 ✅
GR00T N1.5 LIBERO / ManiSkill 支持 ✅
π₀ / π₀.₅(OpenPI) LIBERO / ManiSkill 支持 ✅
StarVLA QwenOFT LIBERO 支持 ✅
DreamZero SFT LeRobot 数据集 支持 ✅
FastWAM SFT LeRobot 数据集 即将支持 ⏳
Cosmos3 SFT LeRobot 数据集 即将支持 ⏳

VLA:让模型进入完整的训练与交互流程

针对 GR00T 与 StarVLA,完成了模型依赖、注意力实现以及训练和推理所需的设备适配。其中,StarVLA 已打通基于 Qwen2.5-VL 的模型配置与 LIBERO 上的 GRPO 训练流程,并配套提供昇腾安装与运行配置。

通过将上游模型的依赖差异和硬件执行差异收敛到框架与安装流程中,开发者能够沿用 RLinf 的任务配置和训练组织方式,开展模型实验。

DreamZero:打通昇腾上的 SFT 路径

针对 DreamZero,打通了昇腾上的监督微调(SFT)路径:处理时间步编码、旋转位置编码中的数据类型兼容问题,适配注意力调用,并调整编译与执行路径以支持 CANN 环境。在替换注意力实现时,保留因果关系、窗口与填充语义,并补充昇腾训练测试。

Wan:为世界模型强化学习提供 NPU 推理后端

在 Wan 工作流中,世界模型根据动作生成后续观测,作为环境参与 OpenVLA-OFT 的 GRPO 训练。昇腾适配的关键是世界模型推理后端:策略在生成的交互轨迹上学习,Wan 保持冻结。

查看详细报道

Previous post
RPent v0.1 发布:构建面向物理世界的具身智能体统一基础设施
Next post
清华大学、智元与无问芯穹联合提出了群体经验学习(Collective Experience Learning,CEL)范式:96台真机探索具身智能的规模化成长