Embodied Decision Intelligence Lab (EDI Lab) 清华大学具身决策智能实验室

壁仞科技 x RLinf具身智能GRPO强化学习训练全链路拆解

具身智能强化学习的落地,离不开训练框架与底层算力平台的协同。壁仞科技与 RLinf 社区合作,将 RLinf 社区的具身强化学习训练与调度能力,与壁仞科技通用 GPU 及 BIRENSUPA™ 软件栈结合,联合推进平台接入、模型迁移、训练精度对齐与系统性能优化。

具身智能在线强化学习训练,是目前对训推系统要求最苛刻的一类工作负载:单机多卡上要同时容纳 actor 训练、rollout 推理和物理仿真环境三类异构进程;VLA 模型(Vision-Language-Action)又引入了 Flow Matching 多步去噪、双流共享 Attention、MoE 动作专家这类非常规结构。这不仅考验底层算力与软件栈的兼容性,也要求框架在资源调度、数据流转和训练稳定性上形成完整支撑。

RLinf 由无问芯穹和清华大学联合北京中关村学院等多家机构共同推出,是全球首个面向具身智能的大规模强化学习训练开源框架,被多所世界顶尖高校学术机构以及全球领先的 AI 芯片和具身智能等企业广泛采用。壁仞科技与无问芯穹的此次合作实践,完成了从 RLinf 与 SUPA 软件栈的适配、LingBot-VLA 1.0/2.0 的 GRPO 强化学习训练,到跨平台同配置精度对齐验证的完整闭环,并将合作成果持续回馈开源社区。目前,SUPA 加速器支持已合入 RLinf 主干(commit 7b3d874),LingBot-VLA-V2 的 SFT 与 GRPO 集成正在社区评审中(PR #1652),一批经过验证的平台无关系统优化也将逐步贡献至上游。

本文由壁仞科技与 RLinf 社区联合撰写,按平台接入 → 模型迁移 → 训练精度对齐 → 系统性能优化四个阶段展开。

查看详细报道

Previous post
蒸馏Agent,学决策而非抄Token!清华提出动作级在线蒸馏ActionOPD
Next post
地瓜机器人与无问芯穹达成战略合作,旭日全系与RoboGo软硬协同,承载具身智能基础设施开源矩阵