RLinf v0.4 适配昇腾:多模型适配与具身强化学习全链路优化
October 29, 2026
在已有 OpenVLA/OpenVLA-OFT、OpenPI 等适配基础上,RLinf v0.4 × 昇腾进一步扩展了 GR00T N1.5、StarVLA、DreamZero 与 Wan 的昇腾支持,覆盖策略训练、监督微调与世界模型推理等场景。
| 模型 | 环境 / 工作流 | 昇腾 CANN | 状态 |
|---|---|---|---|
| OpenVLA-OFT | LIBERO / ManiSkill | 支持 | ✅ |
| Wan | 世界模型推理后端 | 支持 | ✅ |
| GR00T N1.5 | LIBERO / ManiSkill | 支持 | ✅ |
| π₀ / π₀.₅(OpenPI) | LIBERO / ManiSkill | 支持 | ✅ |
| StarVLA QwenOFT | LIBERO | 支持 | ✅ |
| DreamZero SFT | LeRobot 数据集 | 支持 | ✅ |
| FastWAM SFT | LeRobot 数据集 | 即将支持 | ⏳ |
| Cosmos3 SFT | LeRobot 数据集 | 即将支持 | ⏳ |
VLA:让模型进入完整的训练与交互流程
针对 GR00T 与 StarVLA,完成了模型依赖、注意力实现以及训练和推理所需的设备适配。其中,StarVLA 已打通基于 Qwen2.5-VL 的模型配置与 LIBERO 上的 GRPO 训练流程,并配套提供昇腾安装与运行配置。
通过将上游模型的依赖差异和硬件执行差异收敛到框架与安装流程中,开发者能够沿用 RLinf 的任务配置和训练组织方式,开展模型实验。
DreamZero:打通昇腾上的 SFT 路径
针对 DreamZero,打通了昇腾上的监督微调(SFT)路径:处理时间步编码、旋转位置编码中的数据类型兼容问题,适配注意力调用,并调整编译与执行路径以支持 CANN 环境。在替换注意力实现时,保留因果关系、窗口与填充语义,并补充昇腾训练测试。
Wan:为世界模型强化学习提供 NPU 推理后端
在 Wan 工作流中,世界模型根据动作生成后续观测,作为环境参与 OpenVLA-OFT 的 GRPO 训练。昇腾适配的关键是世界模型推理后端:策略在生成的交互轨迹上学习,Wan 保持冻结。