RLinf v0.4 正式发布!重塑真机强化学习工程与算法范式,加速具身智能在真实世界的规模化落地
October 20, 2026
由无问芯穹、清华大学联合北京中关村学院等多家机构共同研发的全球首个面向具身智能的大规模强化学习训练开源框架 RLinf,正式发布 v0.4 版本。从 v0.1、v0.2 逐步建立强化学习系统抽象与真实世界在线学习基础设施,到 v0.3 打通仿真训练与真实机器人部署的基础链路,RLinf 持续完善具身智能强化学习的全链路技术能力。
此次发布的 v0.4 进一步聚焦真实物理场景下的强化学习需求,围绕“乐高式真机系统、高效率真机算法、全模态模型支持、国产算力底座”四大核心方向展开系统性迭代,重塑真机强化学习的工程与算法范式,推动具身强化学习从技术验证走向更高效、更灵活、可复现的真实机器人应用。
-
乐高式真机工程体系(
rlinf.robotics):将机械臂、灵巧手、相机、移动底盘与遥操作外设抽象为即插即用的“乐高积木”,实现硬件驱动与任务逻辑彻底解耦。无论是更换本体、调整构型还是跨节点部署,上层任务与策略代码均可保持不变。 - 真机 SOTA 后训练算法矩阵:推出表征解耦在线强化学习 RLT、零标注自监督离线强化学习 STEAM、30 步成功率跃升至 96% 以上的在线策略蒸馏 OPD,以及将推理等待压缩至约 2 ms 的异步实时控制 RTC,攻克真机样本成本高、标注困难和推理卡顿等痛点。
- 全模态模型重构与扩展:从底层重写并与官方 JAX 逐算子数值对齐的 PyTorch 原生 OpenPI(π₀ / π₀.₅),接入 NVIDIA Cosmos3、FastWAM、π₀-FAST、Evo-1、MolmoAct2 等五款前沿世界动作模型与 VLA,并将强化学习能力首次拓展至 SD3、Wan2.2 视觉生成模型。
- 异构算力、开源生态与前沿研究拓展:新增昆仑芯、壁仞、沐曦和 Intel XPU 支持,在华为昇腾与摩尔线程上实现最高 2.78 倍吞吐提升并达到 A100 级收敛对齐;RLinf 正式入选 PyTorch 官方生态,成为 NVIDIA Isaac Lab v3.0 官方集成的强化学习训练引擎,并与 SGLang、AMD 等伙伴发布多项社区实践。RLinf 团队的 WoVR 世界模型强化学习与 RL-Co 仿真—真机协同强化学习两项成果获 CoRL 2026 接收。