当前，运音乐人形机器人的动生运动控制大多受限于“有参考才能动”的被动跟踪模式。机器人仅能机械重复预设的成框操纵成全动作轨迹，缺乏自主生成新动作的架句即可机器能力，难以适应日常灵活的话段人机交互场景。

针对这一行业痛点，人完清华大学 MARS 实验室推出了 OMG 全模态人形运动生成框架。身动该框架创新性地构建了“生成大脑 + 跟踪小脑”的运音乐分层控制方案，通过搭建千小时级专属多模态机器人数据集，动生并依托扩散模型构建通用运动生成网络，成框操纵成全使机器人能够实时响应文本、架句即可机器音频、话段人体动作及组合指令，人完自主生成稳定且可执行的身动全身运动轨迹。

实测数据显示，运音乐OMG 在多项性能指标上领跑主流模型，并具备大模型特有的规模缩放、小样本泛化及零样本模态组合能力，为人形机器人通用智能控制的落地提供了全套开源解决方案。

论文地址：https://arxiv.org/abs/2606.10340
项目主页：https://tsinghua-mars-lab.github.io/OMG/
开源代码：https://github.com/Tsinghua-MARS-Lab/OMG
作者单位：清华大学 MARS 实验室

一、行业痛点：人形机器人缺乏自主交互能力

目前主流的人形机器人运动跟踪技术高度依赖外部预设的参考动作，无法理解人类多样化的交互意图，也不能根据文字、音乐或人体姿态自主创作新动作。这种被动执行既定程序的方式，严重限制了人形机器人的智能化与通用性，使其难以适配生活化、开放式的交互场景。

为破解这一难题，研究团队量身打造了 OMG 全模态运动生成体系。该方案依托两大核心模块：提供高质量训练素材的千小时级多模态机器人数据集 OMG-Data，以及负责多模态动作创作的自研生成网络 OMG-DiT。配合成熟的 HoloMotion 全身跟踪器，形成了从意图理解、动作生成到落地执行的完整闭环，真正实现了人形机器人的多模态智能自主控制。

二、OMG-Data：千小时级可执行多模态动作数据

高质量且符合物理约束的标准化动作数据，是支撑人形机器人通用能力的核心底座。然而，现阶段人类公开动作数据来源杂乱、骨架规范不统一，绝大多数人体动作无法直接迁移至实体机器人，存在严重的落地断层。

为此，研究团队建立了一套完整、标准化的数据清洗流水线：

1. 数据整合与清洗：首先整合 AMASS、LAFAN、舞蹈、语音手势配对等海量公开动作素材，剔除损坏帧、异常关节角度及时序错位等无效样本。
2. 统一映射：通过通用动作重定向技术（GMR），将 SMPL 人体模型、视频重建人体、FBX 动画等异构数据，统一映射至宇树 G1 机器人的专属动作空间。
3. 语义标注与切分：针对无文本标注的动作片段，在 MuJoCo 仿真环境中渲染多视角画面，利用视觉语言模型（VLM）完成细粒度时序语义标注，并根据文本边界、音乐乐句与滑动窗口进行长序列切分，以适配模型的短时预测训练。
4. 物理可行性校验：所有候选动作均进入仿真环境进行完整轨迹推演，由跟踪器实时执行并校验机身高度、倾斜角度、连续跌倒帧数、关节极限等关键指标，筛除违背动力学规则或导致跟踪失效的样本。

最终构建的 OMG-Data数据集总时长达 1174.66 小时，包含 1166.6 小时文本标注动作、958.77 小时人体参考动作及 191.6 小时音频配对动作。所有数据无需二次修正，可直接用于实体机器人训练，有效补齐了人形运动生成领域“数据规模不足”与“机器人可执行性差”两大核心短板。

三、OMG-DiT：可拓展轻量化 DiT 运动生成主干网络

OMG-DiT是整套框架的核心创新，采用“共享主干网络 + 轻量化模态适配器”的解耦设计。该设计将通用人形运动先验与多模态条件输入相互分离，无需对主干网络重新预训练，仅通过新增少量适配模块即可快速接入全新控制模态，极大降低了通用人形机器人的拓展与迭代成本。

1. 生成-跟踪分层架构

整套系统采用分工清晰且高效协同的分层架构：
* 上层（生成大脑）：OMG-DiT 基于历史运动状态、文本、音频、人体参考动作等条件，实时预测未来 60 帧宇树 G1 的全身参考轨迹。
* 底层（跟踪小脑）：HoloMotion 跟踪器负责将生成的轨迹转化为关节控制指令，完成机身平衡维持、抗扰与跟踪等物理执行任务。

2. 网络结构与训练策略

模型直接在宇树 G1 原生 125 维机器人动作空间中完成训练与生成，无需额外的人体-机器人转换编码器。网络主体基于 DiT 构建去噪主干，结合 RoPE 旋转位置编码与时序自注意力机制，精准建模全身运动的时序关联。训练阶段采用随机模态丢弃策略，配合推理阶段的无分类器引导，实现单模态与多模态组合指令的灵活切换。

3. 差异化特征注入方案

针对三类核心原生控制模态，团队设计了差异化的特征注入方案：
* 文本指令：通过冻结的 T5-Base 编码器提取语义特征，以全局上下文 Token 的形式，经交叉注意力机制逐层注入 DiT 网络。
* 音频与人体参考动作：属于帧对齐类信号，经 MLP 特征映射后，通过 FiLM 调制模块逐帧优化运动特征，分别实现音乐节奏精准匹配与人体姿态高效复刻。

4. 极强的模态拓展能力

该框架具备强大的模态拓展能力。以 Pico VR 关键点遥操作等全新交互场景为例，仅需配置零初始化 FiLM 适配器即可完成接入，主干预训练权重完全保留，依托少量样本微调即可适配新任务，不会破坏模型已习得的通用运动先验。在推理阶段，用户可自定义多模态引导参数，灵活调节文本语义、音频节奏、人体姿态的权重配比，实现训练数据中从未出现的多指令协同运动生成。

四、实验全方位验证：极致生成性能与通用基础模型能力

研究团队从横向性能对比、下游小样本迁移、基础模型特性验证三个维度，开展了全面系统的实验评测。所有模型输出轨迹均在仿真环境中由真实跟踪器执行校验，同步统计运动生成质量、机器人跟踪稳定性、跌倒率等多维指标，全方位验证 OMG 框架的综合性能与泛化优势。

1. 多模态生成对比实验

OMG 在各类任务中均取得最优表现：
* 文本驱动任务：OMG-XL 模型 FID 低至 6.03，R-Precision@1 达 65.43%，机器人跌倒率仅 0.78%，其语义匹配精度与物理稳定性显著优于 GENMO、HYMotion、Kimodo 等主流模型。

* 音频驱动舞蹈任务：模型音频匹配 FID_k 为 40.46，全程无跌倒失效，可精准跟随古典、流行等不同风格音乐生成流畅全身动作。

* 人体姿态重定向任务：模型 MPJPE 误差仅 18.84，相较 GMR、NMR、OmniRetarget 等传统方案，能够在复刻人体细节姿态的同时，输出高度稳定、机器人可精准跟踪的运动轨迹。

2. 下游微调与迁移能力

下游微调实验充分验证了模型优异的迁移能力：
* 小样本适配：在全新数据集适配任务中，仅使用 1%的 AMASS-CMU 数据微调预训练模型，即可媲美全量数据从零训练的效果。
* 新模态接入：在 Pico 关键点遥操作全新模态任务中，基于预训练权重初始化的模型，性能大幅优于随机初始化模型，充分证明主干网络沉淀的通用运动先验具备极强的跨场景、跨模态泛化能力。

3. 基础模型特性验证

论文验证了该模型具备典型的基础模型特质：
* 模型规模缩放（Model Scaling Behavior）：在数据与评估条件固定的前提下，模型参数量越大，运动生成综合性能稳步提升，证明人形动作生成可通过模型扩容持续迭代优化。

* 零样本模态组合能力：模型可在推理阶段融合文本、音频等未见组合指令，兼顾语义逻辑与音乐节奏，生成差异化复合动作。
* 实时模态动态切换：模型支持在连续交互过程中平滑适配不同控制信号，完全满足人机实时交互的应用需求。

作者介绍

清华大学黄思乔、李坤应、乔东铭、贺贯齐为本文共同第一作者；清华大学赵行教授为本文通讯作者。研究团队长期聚焦人形机器人多模态运动生成、大规模动作数据集构建、仿真到现实迁移等前沿方向，持续产出人形机器人方向的系统性研究成果。