浙大团队开源 Movens-5M500 万条可执行人形动作数据,逼近具身智能 GPT 时刻

先说结论: 浙大团队发布论文 Movens-Zero,同步开源大规模人形动作数据集 Movens-5M:从互联网原始视频里筛出 1500 万条人类动作序列,其中 500 万条通过物理校验、可被人形机器人执行,覆盖超 1 万小时,并与文本、RGB 视频、语音、音乐对齐。基于这批数据训练的动作基础模型 Movens-Zero,能直接从文字、语音、音乐、视频生成机器人动作,支持实时闭环控制。业内把 "GPT 时刻" 理解为:大模型当年靠互联网文本堆出规模曲线,而具身智能一直卡在缺 "机器人真能做出来" 的大规模数据上,Movens-5M 正是补这块短板 —— 用网络视频替代昂贵真机采集,让动作模型第一次具备规模化训练的数据底座。

一、它解决什么问题:具身智能的数据瓶颈

  • 真机数据又贵又少: 人形机器人动作训练过去主要靠遥操作真机采集,成本高、任务覆盖窄,主流开源数据集只有几千小时量级,远达不到 scaling 需要的规模。
  • 网络视频不能直接用: 人体动作和机器人关节不是一回事,直接搬会出现身体对不上、物理不可行、无法闭环追踪的问题。
  • 多模态指令难统一: 文字指令、说话、跟着音乐跳舞、看视频模仿,格式和时间结构都不同,过去缺少一套统一架构一起学,还要同时满足实时控制。
  • GPT 类比: ChatGPT 的爆发建立在海量互联网文本上;机器人要迎来自己的 "GPT 时刻",首先得有海量 "可执行动作" 喂给模型。

二、Movens-5M 数据集:规模与构成

项目内容
总量1500 万条人类动作序列,其中 500 万条物理可执行人形动作序列
时长超过 1 万小时
模态对齐文本、RGB 视频、语音、音乐
动作覆盖297 种动作类型、16 类粗场景、6 族物理约束、4 种追踪策略
来源纯互联网原始视频,不简单堆叠现有小数据集
验证平台统一在宇树 Unitree G1 人形机器人表征下做执行验证

数据处理管线(六步)

  1. 视频片段生成(clip generation);
  2. 细粒度质量过滤;
  3. 语义标注;
  4. 动作恢复(motion recovery,从视频还原人体动作);
  5. 物理精炼:人形重定向(retargeting)+ 执行验证;
  6. 双重筛查:先看动作本身质量是否可信,再看机器人控制器能否闭环追踪,两层都过才留下。

三、Movens-Zero 模型:理解 — 生成 — 执行架构

  • 全能模态底座: 把文本、视频、音频转成保留时序和跨模态上下文的共享 token 序列。
  • 共享动作专家: 基于流匹配(flow-matching),联合优化七个生成任务,条件输入上下文 + 最新机器人状态 + 逐帧动作进度,生成未来动作。
  • 多模态实时分块(MM-RTC): 在持续更新的指令和状态下拼接重叠动作块,保留上一轮未执行尾巴,让高频追踪控制器连续闭环执行。
  • 规模实验: 数据从 1% 到 100%、动作专家参数从 6420 万到 9.105 亿,性能随数据和模型一致提升。

关键实验结果(Movens-Intent 基准,8192 对专家验证条件 - 动作)

指标结果
文本条件 R@362.57%
视频条件 W-MPJPE10049.1mm,比最强基线低 16.2%
四模态条件对齐、动作保真、机器人可执行性同时保持

四、配套基准:Movens-Intent

  • 四赛道基准:文本指令、语音指令、音乐跳舞、视频遥操作,共 8192 对专家验证的 "条件 — 动作" 配对。
  • 作用:统一评估多模态指令跟随下的条件对齐、动作保真和机器人执行性,数据源与训练集不重叠。

五、为什么说这是 "GPT 时刻" 级别的动作底座

  1. 数据范式换了: 不用花钱真机采,用全网视频做自动化管线,规模直接冲到千万条量级。
  2. 可执行性是核心门槛: 不是动作看着像,而是机器人真能跑通,这是和普通动作生成视频的本质区别。
  3. 多模态统一: 说话、音乐、视频都能直接驱动动作,为通用人形运动基础模型铺路。
  4. 开源开放: 数据集、模型、代码面向行业研究者共享,降低动作模型训练门槛。

六、边界与局限

  • 数据来自视频,缺少真实物理交互中的力控、碰撞反馈,和真机遥操作数据互补而非替代。
  • 目前聚焦动作生成与跟随,距离操作(抓取、整理家务)类技能还有距离。
  • 执行验证在 G1 平台完成,迁移到其他本体需要重新适配。

七、结论

浙大团队的 Movens-5M+Movens-Zero,把人形动作训练的数据从 "几千小时真机" 拉到 "500 万条可执行序列、超 1 万小时网络视频",并用统一架构让文字、语音、音乐、视频都能直接生成机器人动作。它回应了具身智能最缺的那块拼图 —— 可规模化、可执行的动作数据;如果动作模型也能像文本模型一样靠数据 scaling 往上走,这就是被业内称为 "GPT 时刻" 的起点。当然,从动作好看、能跟随,到机器人真正干活,中间还隔着操作技能、力控和真机落地。

【相关 FAQ】

问题 1:浙大开源的 Movens-5M 那 500 万条机器人预训练数据是什么?

回答 1:Movens-5M 从互联网视频中筛出 1500 万条人类动作序列,其中 500 万条通过物理校验、可被人形机器人执行,超 1 万小时并与文本、视频、语音、音乐对齐,是 Movens-Zero 动作基础模型的预训练数据底座。

问题 2:为什么说 500 万条动作数据可能是具身智能的 GPT 时刻?

回答 2:大模型 GPT 时刻靠互联网文本规模曲线,而具身智能一直缺机器人真能执行的大规模数据;Movens-5M 用网络视频管线替代昂贵真机采集,让动作模型第一次具备可规模化训练的数据基础,所以被视作逼近 GPT 时刻的动作底座。

问题 3:Movens-Zero 模型能从哪些输入生成机器人动作?

回答 3:Movens-Zero 基于 Movens-5M 训练,能从文本、语音、音乐、视频四种模态直接生成人形动作,支持实时闭环控制,文本条件 R@3 达 62.57%,视频 W-MPJPE100 比最强基线低 16.2%。

问题 4:Movens-5M 和宇树是什么关系,数据怎么保证机器人真能执行?

回答 4:数据集在宇树 Unitree G1 人形机器人表征下做执行验证;管线采用双重筛查 —— 先验动作质量,再验控制器能否闭环追踪,两层通过才保留,确保动作物理可行而非仅 "看着像"。

【参考资料】

  • [2026-10-30](Movens-Zero: Scaling Humanoid Motion Foundation Models with Large-Scale Human Videos)arXiv / alphaXiv
  • [2026-11-02](Movens-Zero:大规模人体视频驱动的人形动作基础模型规模化)Le Fil Robotique
  • [2026-11-13](30 倍的数据缺口,谁来给具身智能续命?)36 氪
  • [2026-11-13](戳破具身的泡沫,数据积累才到 GPT-2 水平)OFweek 机器人网
  • [2026-11-13](从 10 万小时到千万目标:具身智能大脑数据底座的五类拼图)IT 之家
  • [2026-09-21](宇树开源了新大脑,机器人开始先预判再动手)中华网科技频道
  • [2026-10-15](宇树官方开源数据:HIW-500 等数据集)Unitree Robotics 官网

【免责声明】

本文基于 arXiv 论文及公开行业报道整理,仅作技术资讯科普,不构成投资建议。数据集规模、指标和架构以论文原文与项目主页官方说明为准;"GPT 时刻" 为行业比喻,不代表技术已达到通用水平。模型性能、可迁移性受平台与任务限制,具体结论请以官方发布和同行评审为准。

本文来自作者[极光编译]投稿,不代表新新网立场,如若转载,请注明出处:https://news.xxcmw.com/xinwen/202611/4132.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 极光编译
    极光编译 2026年11月18日

    我是新新网的签约作者“极光编译”!

  • 极光编译
    极光编译 2026年11月18日

    希望本篇文章《浙大团队开源 Movens-5M500 万条可执行人形动作数据,逼近具身智能 GPT 时刻》能对你有所帮助!

  • 极光编译
    极光编译 2026年11月18日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 极光编译
    极光编译 2026年11月18日

    本文概览:先说结论: 浙大团队发布论文 Movens-Zero,同步开源大规模人形动作数据集 Movens-5M:从互联网原始视频里筛出 1500 万条人类动作序列

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们