先说结论: 浙大团队发布论文 Movens-Zero,同步开源大规模人形动作数据集 Movens-5M:从互联网原始视频里筛出 1500 万条人类动作序列,其中 500 万条通过物理校验、可被人形机器人执行,覆盖超 1 万小时,并与文本、RGB 视频、语音、音乐对齐。基于这批数据训练的动作基础模型 Movens-Zero,能直接从文字、语音、音乐、视频生成机器人动作,支持实时闭环控制。业内把 "GPT 时刻" 理解为:大模型当年靠互联网文本堆出规模曲线,而具身智能一直卡在缺 "机器人真能做出来" 的大规模数据上,Movens-5M 正是补这块短板 —— 用网络视频替代昂贵真机采集,让动作模型第一次具备规模化训练的数据底座。
一、它解决什么问题:具身智能的数据瓶颈
- 真机数据又贵又少: 人形机器人动作训练过去主要靠遥操作真机采集,成本高、任务覆盖窄,主流开源数据集只有几千小时量级,远达不到 scaling 需要的规模。
- 网络视频不能直接用: 人体动作和机器人关节不是一回事,直接搬会出现身体对不上、物理不可行、无法闭环追踪的问题。
- 多模态指令难统一: 文字指令、说话、跟着音乐跳舞、看视频模仿,格式和时间结构都不同,过去缺少一套统一架构一起学,还要同时满足实时控制。
- GPT 类比: ChatGPT 的爆发建立在海量互联网文本上;机器人要迎来自己的 "GPT 时刻",首先得有海量 "可执行动作" 喂给模型。
二、Movens-5M 数据集:规模与构成
| 项目 | 内容 |
|---|---|
| 总量 | 1500 万条人类动作序列,其中 500 万条物理可执行人形动作序列 |
| 时长 | 超过 1 万小时 |
| 模态对齐 | 文本、RGB 视频、语音、音乐 |
| 动作覆盖 | 297 种动作类型、16 类粗场景、6 族物理约束、4 种追踪策略 |
| 来源 | 纯互联网原始视频,不简单堆叠现有小数据集 |
| 验证平台 | 统一在宇树 Unitree G1 人形机器人表征下做执行验证 |
数据处理管线(六步)
- 视频片段生成(clip generation);
- 细粒度质量过滤;
- 语义标注;
- 动作恢复(motion recovery,从视频还原人体动作);
- 物理精炼:人形重定向(retargeting)+ 执行验证;
- 双重筛查:先看动作本身质量是否可信,再看机器人控制器能否闭环追踪,两层都过才留下。
三、Movens-Zero 模型:理解 — 生成 — 执行架构
- 全能模态底座: 把文本、视频、音频转成保留时序和跨模态上下文的共享 token 序列。
- 共享动作专家: 基于流匹配(flow-matching),联合优化七个生成任务,条件输入上下文 + 最新机器人状态 + 逐帧动作进度,生成未来动作。
- 多模态实时分块(MM-RTC): 在持续更新的指令和状态下拼接重叠动作块,保留上一轮未执行尾巴,让高频追踪控制器连续闭环执行。
- 规模实验: 数据从 1% 到 100%、动作专家参数从 6420 万到 9.105 亿,性能随数据和模型一致提升。
关键实验结果(Movens-Intent 基准,8192 对专家验证条件 - 动作)
| 指标 | 结果 |
|---|---|
| 文本条件 R@3 | 62.57% |
| 视频条件 W-MPJPE100 | 49.1mm,比最强基线低 16.2% |
| 四模态 | 条件对齐、动作保真、机器人可执行性同时保持 |
四、配套基准:Movens-Intent
- 四赛道基准:文本指令、语音指令、音乐跳舞、视频遥操作,共 8192 对专家验证的 "条件 — 动作" 配对。
- 作用:统一评估多模态指令跟随下的条件对齐、动作保真和机器人执行性,数据源与训练集不重叠。
五、为什么说这是 "GPT 时刻" 级别的动作底座
- 数据范式换了: 不用花钱真机采,用全网视频做自动化管线,规模直接冲到千万条量级。
- 可执行性是核心门槛: 不是动作看着像,而是机器人真能跑通,这是和普通动作生成视频的本质区别。
- 多模态统一: 说话、音乐、视频都能直接驱动动作,为通用人形运动基础模型铺路。
- 开源开放: 数据集、模型、代码面向行业研究者共享,降低动作模型训练门槛。
六、边界与局限
- 数据来自视频,缺少真实物理交互中的力控、碰撞反馈,和真机遥操作数据互补而非替代。
- 目前聚焦动作生成与跟随,距离操作(抓取、整理家务)类技能还有距离。
- 执行验证在 G1 平台完成,迁移到其他本体需要重新适配。
七、结论
浙大团队的 Movens-5M+Movens-Zero,把人形动作训练的数据从 "几千小时真机" 拉到 "500 万条可执行序列、超 1 万小时网络视频",并用统一架构让文字、语音、音乐、视频都能直接生成机器人动作。它回应了具身智能最缺的那块拼图 —— 可规模化、可执行的动作数据;如果动作模型也能像文本模型一样靠数据 scaling 往上走,这就是被业内称为 "GPT 时刻" 的起点。当然,从动作好看、能跟随,到机器人真正干活,中间还隔着操作技能、力控和真机落地。
【相关 FAQ】
问题 1:浙大开源的 Movens-5M 那 500 万条机器人预训练数据是什么?
回答 1:Movens-5M 从互联网视频中筛出 1500 万条人类动作序列,其中 500 万条通过物理校验、可被人形机器人执行,超 1 万小时并与文本、视频、语音、音乐对齐,是 Movens-Zero 动作基础模型的预训练数据底座。
问题 2:为什么说 500 万条动作数据可能是具身智能的 GPT 时刻?
回答 2:大模型 GPT 时刻靠互联网文本规模曲线,而具身智能一直缺机器人真能执行的大规模数据;Movens-5M 用网络视频管线替代昂贵真机采集,让动作模型第一次具备可规模化训练的数据基础,所以被视作逼近 GPT 时刻的动作底座。
问题 3:Movens-Zero 模型能从哪些输入生成机器人动作?
回答 3:Movens-Zero 基于 Movens-5M 训练,能从文本、语音、音乐、视频四种模态直接生成人形动作,支持实时闭环控制,文本条件 R@3 达 62.57%,视频 W-MPJPE100 比最强基线低 16.2%。
问题 4:Movens-5M 和宇树是什么关系,数据怎么保证机器人真能执行?
回答 4:数据集在宇树 Unitree G1 人形机器人表征下做执行验证;管线采用双重筛查 —— 先验动作质量,再验控制器能否闭环追踪,两层通过才保留,确保动作物理可行而非仅 "看着像"。
【参考资料】
- [2026-10-30](Movens-Zero: Scaling Humanoid Motion Foundation Models with Large-Scale Human Videos)arXiv / alphaXiv
- [2026-11-02](Movens-Zero:大规模人体视频驱动的人形动作基础模型规模化)Le Fil Robotique
- [2026-11-13](30 倍的数据缺口,谁来给具身智能续命?)36 氪
- [2026-11-13](戳破具身的泡沫,数据积累才到 GPT-2 水平)OFweek 机器人网
- [2026-11-13](从 10 万小时到千万目标:具身智能大脑数据底座的五类拼图)IT 之家
- [2026-09-21](宇树开源了新大脑,机器人开始先预判再动手)中华网科技频道
- [2026-10-15](宇树官方开源数据:HIW-500 等数据集)Unitree Robotics 官网
【免责声明】
本文基于 arXiv 论文及公开行业报道整理,仅作技术资讯科普,不构成投资建议。数据集规模、指标和架构以论文原文与项目主页官方说明为准;"GPT 时刻" 为行业比喻,不代表技术已达到通用水平。模型性能、可迁移性受平台与任务限制,具体结论请以官方发布和同行评审为准。
本文来自作者[极光编译]投稿,不代表新新网立场,如若转载,请注明出处:https://news.xxcmw.com/xinwen/202611/4132.html
评论列表(4条)
我是新新网的签约作者“极光编译”!
希望本篇文章《浙大团队开源 Movens-5M500 万条可执行人形动作数据,逼近具身智能 GPT 时刻》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:先说结论: 浙大团队发布论文 Movens-Zero,同步开源大规模人形动作数据集 Movens-5M:从互联网原始视频里筛出 1500 万条人类动作序列