Embodied Decision Intelligence Lab (EDI Lab) 清华大学具身决策智能实验室

蒸馏Agent,学决策而非抄Token!清华提出动作级在线蒸馏ActionOPD

在多轮工具调用与复杂环境交互中,大语言模型正加速以 Agent 形态落地。受限于前沿大模型高昂的推理成本,如何将其决策能力迁移至轻量级模型,成为当前 Agent 研究的重要课题。

然而,不同于单轮文本生成,Agent 的每一步输出都会改变环境状态并影响后续轨迹,这引出了两个基本问题:

  1. 在什么状态监督? 是在教师走出的预设轨迹上,还是在学生实际遇到的状态上?
  2. 以什么粒度对齐? 是逐 Token 拟合词表分布,还是在更高层的“动作语义”上对齐决策?

围绕这两个问题,清华大学研究团队提出了 ActionOPD(Action-level On-Policy Distillation):在学生实际访问的状态下,以高层“语义动作”作为监督单元,在规避状态分布偏移的同时,实现了教师决策监督与学生 Token 表达的彻底解耦。

ActionOPD 项目介绍:Distilling Decisions, Not Tokens

查看详细报道

Previous post
清华大学、智元与无问芯穹联合提出了群体经验学习(Collective Experience Learning,CEL)范式:96台真机探索具身智能的规模化成长
Next post
壁仞科技 x RLinf具身智能GRPO强化学习训练全链路拆解